Em 6 de novembro de 2026, a OpenAI apresentou o BioBasicsBench, uma avaliação de 100 tarefas de laboratório. No nível de raciocínio xhigh, GPT-6 Astra recebeu 66,7% de recompensa média — uma medida de crédito parcial em critérios de avaliação, não a porcentagem de tarefas resolvidas por completo. A OpenAI descreve o benchmark e seus resultados.

O que o BioBasicsBench avalia

O benchmark reúne tarefas de cinco áreas: métodos de proteínas; imagem e citometria; quantificação e ensaios; métodos de ácidos nucleicos; e clonagem molecular. Em vez de operar equipamentos, os agentes precisam interpretar evidências experimentais, detectar erros e reconhecer quando os dados não sustentam uma conclusão.

As tarefas podem incluir imagens de géis e placas, dados de microscopia e sequenciamento, arquivos exportados por instrumentos, protocolos, anotações e vídeos de procedimentos. A OpenAI informa que a Ligo, empresa de biotecnologia focada em desenho de enzimas, elaborou as tarefas a partir de dados experimentais próprios. Cada item passou pela revisão de outro cientista da Ligo, por uma avaliação externa de um cientista com doutorado em trabalho de laboratório e por uma revisão interna final.

Alguns formatos aparecem em mais de uma categoria: 7 tarefas incluíam vídeos de protocolo, 7 envolviam placas de ágar e colônias, e 21 traziam folhas de referência. Esses números descrevem formatos de entrada, não grupos separados de tarefas.

O que significa a pontuação xhigh

A recompensa média corresponde à parcela do crédito disponível na rubrica que os modelos obtiveram, em média, nas tarefas. Uma rubrica pode dar pontos por uma conclusão, por medições e raciocínio ou por reconhecer que as evidências são insuficientes. Como há crédito parcial, 66,7% não significa que GPT-6 Astra tenha concluído corretamente 66,7 das 100 tarefas.

Na configuração xhigh, a OpenAI avaliou sete modelos em 37 combinações de modelo e esforço de raciocínio. Cada combinação teve cinco tentativas em cada uma das 100 tarefas, totalizando 18.500 resultados. Os intervalos de confiança abaixo foram calculados reamostrando tarefas inteiras e mantendo juntas as tentativas de cada tarefa.

ModeloRecompensa média em xhighIntervalo de confiança de 95%
GPT-6 Astra66,7%60,3–73,1%
GPT-6.1 Sol62,0%55,6–68,4%
GPT-5.6 Sol43,8%37,6–50,0%
Ao avaliar uma tarefa de laboratório, reconhecer uma ambiguidade ou um rótulo errado também pode mudar a próxima decisão — não basta identificar um sinal na imagem.

Como uma leitura errada pode mudar a interpretação

Mão com luva azul-turquesa segurando uma placa de Petri; um contorno laranja destaca o rótulo “LB Kan50” na borda.

Em um exemplo de microscopia, os canais identificados como SYTOX e FUN-1 green cobriam, respectivamente, as faixas de 470–540 nm e 525–580 nm. A sobreposição entre 525 e 540 nm permite interferência entre os sinais, mas a OpenAI não mediu sua intensidade. Por isso, o exemplo identifica uma possível fonte de ambiguidade, sem quantificar seu efeito.

Em outra tarefa, a placa tinha um rótulo de meio com canamicina, “LB Kan50”, embora o experimento usasse ampicilina. A OpenAI descreve o rótulo como um controle de antibiótico incorreto.

Seleção de bandas e contagem de colônias

Gel escuro com dez pistas numeradas, bandas luminosas e marcações coloridas em algumas pistas.

Em uma tarefa de colony-PCR, GPT-6 Astra selecionou as bandas das pistas 4, 6, 7 e 8; a referência do benchmark selecionou as pistas 5, 9 e 10. Segundo a OpenAI, a escolha errada levaria à purificação do plasmídeo incorreto.

Em outra tarefa, a contagem de colônias de GPT-6 Astra ficou cerca de 12% acima da referência. Com o volume plaqueado e a diluição fixos, esse excesso elevaria na mesma proporção a estimativa de eficiência de introdução de DNA. O resultado descreve esse exemplo específico, não uma taxa geral de erro do modelo.