Op 6 november 2026 introduceerde OpenAI BioBasicsBench, een benchmark met 100 laboratoriumopdrachten. Bij de instelling xhigh behaalde GPT-6 Astra volgens OpenAI gemiddeld 66,7% van de beschikbare punten in het beoordelingsschema. Dat is een gemiddelde score voor rubricpunten, geen percentage volledig opgeloste opdrachten. OpenAI’s aankondiging van BioBasicsBench beschrijft ook voorbeelden waarin een verkeerde interpretatie gevolgen kon hebben voor de volgende stap in een experiment.
Wat BioBasicsBench test
De opdrachten bestrijken vijf vakgebieden: eiwitmethoden, beeldvorming en cytometrie, kwantificering en assays, nucleïnezuurmethoden en moleculair kloneren. De modellen moesten ruwe experimentele gegevens interpreteren, fouten herkennen en beoordelen wanneer het bewijs geen stevige conclusie toeliet. De benchmark testte de interpretatie van labgegevens, niet het zelfstandig bedienen van laboratoriumapparatuur.
Een opdracht kon onder meer gels en blotbeelden, foto’s van platen, microscopiebeelden, sequencingbestanden, instrumentgegevens, protocollen of video’s van labwerk bevatten. OpenAI vermeldt protocolvideo’s in 7 opdrachten, agarplaten en kolonies in 7 en referentiebladen in 21; een opdracht kon meerdere soorten gegevens bevatten.
Ligo, een biotechnologiebedrijf dat zich richt op enzymontwerp, werkte met OpenAI aan de benchmark. De taken kwamen voort uit experimentele gegevens van Ligo-wetenschappers. Voor de beoordeling schreef Ligo per taak criteria op. Daarna beoordeelde een andere Ligo-wetenschapper de taak, volgde een externe wetenschapper met een PhD in natlabonderzoek en vond nog een interne eindbeoordeling plaats.
Wat de xhigh-scores betekenen
OpenAI rapporteerde resultaten voor zeven modellen op 37 combinaties van model en redeneerinstelling, met vijf pogingen per taak en instelling. Dat leverde 18.500 resultaten op, maar de benchmark bevatte nog steeds 100 verschillende taken. De score is de gemiddelde rubric-credit: een opdracht kon punten opleveren voor bijvoorbeeld de conclusie, metingen, redenering of het herkennen dat het bewijs onvoldoende was.
| Model | Gemiddelde rubric-credit bij xhigh | 95%-betrouwbaarheidsinterval |
| GPT-6 Astra | 66,7% | 60,3–73,1% |
| GPT-6.1 Sol | 62,0% | 55,6–68,4% |
| GPT-5.6 Sol | 43,8% | 37,6–50,0% |
De intervallen zijn berekend door volledige taken opnieuw te trekken, waarbij de vijf pogingen per taak bij elkaar bleven. Zo blijft in de berekening rekening gehouden met de herhaalde pogingen op dezelfde opdrachten.
Een benchmarkpercentage telt behaalde rubricpunten op; het telt geen volledig afgeronde proeven.
Een signaaloverlap en een verkeerd antibioticumlabel
In een microscopievoorbeeld overlappen twee detectievensters. Het als SYTOX aangeduide kanaal loopt van 470 tot 540 nm; het groene FUN-1-kanaal loopt van 525 tot 580 nm. De overlap is dus 525–540 nm. OpenAI zegt dat die overlap signaalinterferentie kan toelaten, maar rapporteert geen meting van de omvang ervan.
Een ander voorbeeld draait om een antibioticacontrole. Op het plaatlabel staat “LB Kan50”, dat naar kanamycine verwijst, terwijl het experiment ampicilline gebruikte. OpenAI beschrijft dit als een fout rond het antibioticumlabel.
De verkeerde selectie bij colony-PCR
Bij één colony-PCR-opdracht selecteerde GPT-6 Astra banen 4, 6, 7 en 8. De benchmarkreferentie selecteerde banen 5, 9 en 10. OpenAI schrijft dat de verkeerde selectie zou leiden tot het zuiveren van het verkeerde plasmide.
OpenAI rapporteert ook één kolonietelling waarbij Astra ongeveer 12% boven de referentiewaarde uitkwam. Bij gelijk gehouden uitgeplaat volume en verdunning zou die overschatting de berekende efficiëntie van DNA-introductie met dezelfde verhouding verhogen.