BioBasicsBench prüft, ob KI-Agenten typische Labor-Rohdaten auswerten, Fehler erkennen und unbelegte Schlüsse vermeiden. OpenAI stellte den gemeinsam mit Ligo entwickelten Benchmark am 6. November 2026 vor und berichtete für GPT-6 Astra bei xhigh durchschnittlich 66,7 % der verfügbaren Rubrikpunkte (OpenAIs Beschreibung und Ergebnisse). Das ist kein Anteil vollständig gelöster Aufgaben: Die Bewertungsraster vergeben auch Teilpunkte für Messwerte, Begründungen oder das Erkennen, dass die Daten keine sichere Schlussfolgerung erlauben.
Was BioBasicsBench bewertet
Der Benchmark umfasst 100 Aufgaben aus fünf Bereichen: Proteinmethoden, Bildgebung und Zytometrie, Quantifizierung und Assays, Nukleinsäuremethoden sowie molekulares Klonieren. Die Aufgaben setzen auf Rohdaten aus der Laborarbeit, darunter Gel- und Blotbilder, Mikroskopie-Stacks, Sequenzierungsdateien, Geräteausgaben, Protokolle, Notizen und Videos von Arbeitsschritten.
Protokollvideos kamen in sieben Aufgaben vor, Agarplatten mit Kolonien ebenfalls in sieben; 21 Aufgaben enthielten Referenzblätter. Die Formate können sich innerhalb einer Aufgabe überschneiden.
Ligo-Forschende entwickelten die Aufgaben anhand eigener Versuchsdaten und erstellten die Bewertungsraster. Laut OpenAI prüfte jeweils ein anderer Ligo-Wissenschaftler die Aufgabe, danach ein externer promovierter Nasslaborforscher und schließlich erneut ein internes Team. Bewertet wurden die Auswertung der Daten, die Fehlererkennung und der Umgang mit Fällen, in denen die Evidenz keine eindeutige Antwort trägt. Der Benchmark prüft damit die Interpretation bereitgestellter Daten, nicht das autonome Bedienen von Laborgeräten.
Was die xhigh-Werte aussagen
xhigh war die höchste für alle sieben Modelle ausgewiesene Reasoning-Stufe. OpenAI ließ die Modelle über 37 Kombinationen aus Modell und Reasoning-Aufwand laufen, mit jeweils fünf Versuchen pro Aufgabe und Einstellung. Das ergab 18.500 Auswertungen, verteilt auf dieselben 100 Aufgaben.
| Modell | Mittlere Rubrikpunkte bei xhigh | 95-%-Konfidenzintervall |
| GPT-6 Astra | 66,7 % | 60,3–73,1 % |
| GPT-6.1 Sol | 62,0 % | 55,6–68,4 % |
| GPT-5.6 Sol | 43,8 % | 37,6–50,0 % |
Die Prozentwerte geben den durchschnittlichen Anteil der erreichbaren Bewertungspunkte an. Eine Aufgabe kann etwa Punkte für eine Messung oder Begründung erhalten, auch wenn das Gesamtergebnis nicht vollständig stimmt. Deshalb bedeutet GPT-6 Astras Wert von 66,7 % nicht, dass das Modell 66,7 von 100 Aufgaben komplett gelöst hat.
Ein Mittelwert bündelt viele Bewertungskriterien; ein einzelner falsch gelesener Befund kann trotzdem die nächste Laborentscheidung beeinflussen.
Wo Signale und Kontrollen Fragen aufwerfen
Überlappende Mikroskopie-Kanäle
In einem Mikroskopiebeispiel lagen die von OpenAI genannten Erfassungsfenster des SYTOX-markierten Kanals bei 470–540 nm und des FUN-1-Grünkanals bei 525–580 nm. Beide überlappten sich also im Bereich von 525–540 nm. OpenAI wertete diese Überlappung als mögliche Ursache für Signalinterferenz; deren Ausmaß wurde nicht gemessen. GPT-6 Astra erkannte die mögliche Überschneidung und bat um bessere Kontrollen.
Ein Kontrolllabel für das falsche Antibiotikum
In einem weiteren Beispiel verwendete das Experiment Ampicillin, während das Label am Schalenrand auf Kanamycin verwies. OpenAI führte den Widerspruch zwischen Kennzeichnung und Versuchsbedingung als fehlerhafte Antibiotika-Kontrolle an.
Die falschen Spuren im Kolonie-PCR-Test
Bei einer Kolonie-PCR wählte GPT-6 Astra laut OpenAI die Spuren 4, 6, 7 und 8 aus. Die Referenz wählte stattdessen die Spuren 5, 9 und 10. OpenAI zufolge hätte die falsche Auswahl zur Aufreinigung des falschen Plasmids geführt.
OpenAI berichtete außerdem von einer einzelnen Aufgabe, in der GPT-6 Astra Kolonien auf einer Platte um etwa 12 % häufiger zählte als die Referenz. Bei gleichbleibendem ausplattiertem Volumen und gleicher Verdünnung würde dieser Zählfehler die berechnete Effizienz der DNA-Einbringung laut OpenAI ebenfalls um etwa 12 % erhöhen.