OpenAI ha presentato BioBasicsBench il 6 novembre 2026, descrivendolo come un test di 100 attività di laboratorio pensato per valutare come gli agenti IA interpretano dati sperimentali grezzi, individuano errori e riconoscono quando le prove non bastano per una conclusione. Nella configurazione xhigh, OpenAI ha assegnato a GPT-6 Astra una ricompensa media del 66,7%: è una quota del credito previsto dalla rubrica di valutazione, non la percentuale di attività risolte per intero. OpenAI

Che cosa valuta BioBasicsBench

Il test copre cinque aree: metodi per le proteine, imaging e citometria, quantificazione e saggi, tecniche sugli acidi nucleici e clonaggio molecolare. Le attività usano materiali simili a quelli prodotti nel lavoro di laboratorio: immagini di gel e piastre, dati di microscopia, letture di sequenziamento, esportazioni degli strumenti e video di protocolli.

Ligo, azienda biotecnologica specializzata nella progettazione di enzimi, ha sviluppato le attività a partire da propri dati sperimentali insieme a OpenAI. Secondo OpenAI, ogni prova è stata revisionata da un altro scienziato di Ligo, da uno scienziato esterno con un dottorato in attività di laboratorio e infine da un revisore interno.

La rubrica può assegnare credito a una conclusione, alle misurazioni e al ragionamento, oppure al riconoscimento che i dati non consentono di concludere. Perciò una risposta può ottenere un punteggio parziale anche senza risolvere tutta l’attività.

OpenAI ha valutato sette modelli in 37 combinazioni di modello e livello di ragionamento, con cinque tentativi per ciascuna delle 100 attività: 18.500 risultati in totale. Il numero di prove distinte resta 100. Per esempio, il test comprendeva sette attività con video di protocollo, sette con piastre e colonie e 21 con schede di riferimento; queste categorie possono sovrapporsi.

Come leggere i risultati xhigh

OpenAI riporta i seguenti valori per xhigh, il livello di ragionamento più alto indicato per tutti e sette i modelli. Gli intervalli di confidenza al 95% sono stati calcolati ricampionando le attività e mantenendo insieme i tentativi relativi a ciascuna.

ModelloRicompensa mediaIntervallo di confidenza al 95%
GPT-6 Astra66,7%60,3–73,1%
GPT-6.1 Sol62,0%55,6–68,4%
GPT-5.6 Sol43,8%37,6–50,0%

La ricompensa media esprime il credito ottenuto, in media, rispetto al punteggio massimo previsto dalle rubriche. Non equivale a dire che GPT-6 Astra abbia completato correttamente 66 o 67 prove su 100: le singole attività possono valere credito parziale.

Un punteggio medio riassume il credito assegnato; gli esempi singoli mostrano perché anche un errore circoscritto può cambiare l’interpretazione di un esperimento.

BioBasicsBench esamina l’interpretazione di dati sperimentali già raccolti, non l’esecuzione autonoma delle procedure con gli strumenti di laboratorio.

Un segnale ambiguo e un’etichetta di controllo errata

Guanto turchese che regge una piastra di Petri con un’etichetta sul bordo cerchiata in arancione.

In un esempio di microscopia, GPT-6 Astra ha indicato che due canali di fluorescenza potevano interferire e ha chiesto controlli migliori. La finestra del canale marcato SYTOX andava da 470 a 540 nm; quella del canale verde FUN-1 da 525 a 580 nm. Le due finestre si sovrappongono tra 525 e 540 nm. OpenAI ha precisato che questa sovrapposizione può consentire interferenza, senza quantificarne l’entità.

In un’altra prova, la piastra usata nell’esperimento con ampicillina aveva sul bordo l’etichetta “LB Kan50”, riferita alla kanamicina. L’etichetta sbagliata era un indizio da riconoscere nella lettura del materiale sperimentale.

La scelta delle colonie può cambiare il risultato

Gel di elettroforesi con dieci corsie numerate e gruppi di corsie evidenziati in rosa e turchese.

In un’attività di colony-PCR, GPT-6 Astra ha selezionato i pozzetti 4, 6, 7 e 8; la selezione di riferimento indicava invece i pozzetti 5, 9 e 10. OpenAI ha osservato che seguire la scelta del modello avrebbe portato a purificare il plasmide sbagliato.

In un altro singolo esempio, il conteggio delle colonie di GPT-6 Astra superava di circa il 12% il riferimento. A volume seminato e diluizione invariati, l’errore avrebbe gonfiato nella stessa misura la stima dell’efficienza di introduzione del DNA.