6 listopada 2026 r. OpenAI przedstawiło BioBasicsBench, benchmark obejmujący 100 zadań z pracy laboratoryjnej. W najwyższym raportowanym ustawieniu rozumowania, xhigh, GPT-6 Astra uzyskał 66,7% średniego kredytu za kryteria oceny. To nie znaczy, że model rozwiązał 66,7% zadań w całości: punktacja uwzględnia także częściowe odpowiedzi i rozpoznanie, kiedy dane nie uzasadniają wniosku. OpenAI opisało benchmark i wyniki swojej ewaluacji.

W ocenie analizy laboratoryjnej liczy się nie tylko trafny wynik, lecz także rozpoznanie, kiedy dane nie uzasadniają wniosku.

Jakie zadania obejmuje BioBasicsBench

Benchmark sprawdza interpretację surowych danych z pięciu obszarów: metod pracy z białkami, obrazowania i cytometrii, oznaczeń ilościowych i testów, metod analizy kwasów nukleinowych oraz klonowania molekularnego. Zadania mogą łączyć zdjęcia żeli i płytek, obrazy mikroskopowe, odczyty sekwencjonowania, wyniki z instrumentów, protokoły i notatki.

OpenAI opracowało test wspólnie z Ligo, firmą biotechnologiczną zajmującą się projektowaniem enzymów. Naukowcy Ligo przygotowali zadania na podstawie własnych danych eksperymentalnych i opracowali kryteria oceniania. Każde zadanie sprawdził inny naukowiec Ligo, następnie specjalista z zewnątrz z doktoratem w dziedzinie pracy laboratoryjnej, a na końcu wewnętrzny recenzent.

Kryteria mogły przyznawać punkty za wniosek, pomiary i tok rozumowania, ale również za stwierdzenie, że dostępne dane nie wystarczają do rozstrzygnięcia. To ważna część testu: w laboratorium niejednoznaczny obraz lub sygnał nie zawsze pozwala bezpiecznie wybrać jedną interpretację.

Co oznaczają wyniki w ustawieniu xhigh

OpenAI podało średnią nagrodę, czyli średni wynik uzyskany według rubryki oceniania, wyrażony jako odsetek dostępnych punktów. Poniższe wartości dotyczą tego samego ustawienia xhigh; przedziały ufności 95% pokazują zakres niepewności oszacowania według metody opisanej przez OpenAI.

ModelŚrednia nagroda w xhighPrzedział ufności 95%
GPT-6 Astra66,7%60,3–73,1%
GPT-6.1 Sol62,0%55,6–68,4%
GPT-5.6 Sol43,8%37,6–50,0%

OpenAI oceniło siedem modeli w 37 ustawieniach modelu i wysiłku rozumowania, wykonując pięć prób dla każdego zadania w każdym ustawieniu. Dało to 18 500 wyników, ale test nadal obejmował 100 różnych zadań. Powtarzane próby nie są dodatkowymi zadaniami ani odsetkiem zadań rozwiązanych poprawnie.

Gdzie interpretacja danych może się rozminąć z eksperymentem

Turkusowa rękawiczka trzyma szalkę Petriego; pomarańczowy obrys wskazuje etykietę na jej brzegu.
Ciemny obraz żelu z dziesięcioma ponumerowanymi ścieżkami; część jest oznaczona różowymi i turkusowymi liniami.

W jednym przykładzie mikroskopowym kanał oznaczony jako SYTOX obejmował zakres 470–540 nm, a kanał zielony FUN-1 — 525–580 nm. Ich zakresy nakładały się od 525 do 540 nm, co może powodować interferencję sygnałów. OpenAI podało, że wielkości tej interferencji nie zmierzono; w tym przykładzie GPT-6 Astra wskazał nakładanie się okien detekcji jako możliwe źródło zakłóceń i poprosił o lepsze kontrole.

OpenAI opisało też zadanie z kontrolą antybiotykową: oznaczenie na płytce wskazywało kanamycynę, choć eksperyment wykorzystywał ampicylinę. To przykład problemu z odczytaniem konkretnego szczegółu dokumentacji doświadczenia.

Inny błąd dotyczył colony-PCR, czyli metody wykorzystującej reakcję PCR do sprawdzania kolonii bakteryjnych. W tym zadaniu GPT-6 Astra wybrał prążki w ścieżkach 4, 6, 7 i 8, podczas gdy wzorzec referencyjny wskazywał ścieżki 5, 9 i 10. OpenAI zaznaczyło, że taki wybór prowadziłby do oczyszczenia niewłaściwego plazmidu.

W osobnym zadaniu z liczeniem kolonii wynik GPT-6 Astra był o około 12% wyższy od wartości referencyjnej. Przy stałej objętości posianej próbki i stałym rozcieńczeniu zawyżyłoby to o tę samą proporcję oszacowanie efektywności wprowadzania DNA.