Em 6 de novembro de 2026, a OpenAI apresentou o BioBasicsBench, uma avaliação de 100 tarefas de laboratório. No nível de raciocínio xhigh, GPT-6 Astra recebeu 66,7% de recompensa média — uma medida de crédito parcial em critérios de avaliação, não a porcentagem de tarefas resolvidas por completo. A OpenAI descreve o benchmark e seus resultados.
O que o BioBasicsBench avalia
O benchmark reúne tarefas de cinco áreas: métodos de proteínas; imagem e citometria; quantificação e ensaios; métodos de ácidos nucleicos; e clonagem molecular. Em vez de operar equipamentos, os agentes precisam interpretar evidências experimentais, detectar erros e reconhecer quando os dados não sustentam uma conclusão.
As tarefas podem incluir imagens de géis e placas, dados de microscopia e sequenciamento, arquivos exportados por instrumentos, protocolos, anotações e vídeos de procedimentos. A OpenAI informa que a Ligo, empresa de biotecnologia focada em desenho de enzimas, elaborou as tarefas a partir de dados experimentais próprios. Cada item passou pela revisão de outro cientista da Ligo, por uma avaliação externa de um cientista com doutorado em trabalho de laboratório e por uma revisão interna final.
Alguns formatos aparecem em mais de uma categoria: 7 tarefas incluíam vídeos de protocolo, 7 envolviam placas de ágar e colônias, e 21 traziam folhas de referência. Esses números descrevem formatos de entrada, não grupos separados de tarefas.
O que significa a pontuação xhigh
A recompensa média corresponde à parcela do crédito disponível na rubrica que os modelos obtiveram, em média, nas tarefas. Uma rubrica pode dar pontos por uma conclusão, por medições e raciocínio ou por reconhecer que as evidências são insuficientes. Como há crédito parcial, 66,7% não significa que GPT-6 Astra tenha concluído corretamente 66,7 das 100 tarefas.
Na configuração xhigh, a OpenAI avaliou sete modelos em 37 combinações de modelo e esforço de raciocínio. Cada combinação teve cinco tentativas em cada uma das 100 tarefas, totalizando 18.500 resultados. Os intervalos de confiança abaixo foram calculados reamostrando tarefas inteiras e mantendo juntas as tentativas de cada tarefa.
| Modelo | Recompensa média em xhigh | Intervalo de confiança de 95% |
| GPT-6 Astra | 66,7% | 60,3–73,1% |
| GPT-6.1 Sol | 62,0% | 55,6–68,4% |
| GPT-5.6 Sol | 43,8% | 37,6–50,0% |
Ao avaliar uma tarefa de laboratório, reconhecer uma ambiguidade ou um rótulo errado também pode mudar a próxima decisão — não basta identificar um sinal na imagem.
Como uma leitura errada pode mudar a interpretação
Em um exemplo de microscopia, os canais identificados como SYTOX e FUN-1 green cobriam, respectivamente, as faixas de 470–540 nm e 525–580 nm. A sobreposição entre 525 e 540 nm permite interferência entre os sinais, mas a OpenAI não mediu sua intensidade. Por isso, o exemplo identifica uma possível fonte de ambiguidade, sem quantificar seu efeito.
Em outra tarefa, a placa tinha um rótulo de meio com canamicina, “LB Kan50”, embora o experimento usasse ampicilina. A OpenAI descreve o rótulo como um controle de antibiótico incorreto.
Seleção de bandas e contagem de colônias
Em uma tarefa de colony-PCR, GPT-6 Astra selecionou as bandas das pistas 4, 6, 7 e 8; a referência do benchmark selecionou as pistas 5, 9 e 10. Segundo a OpenAI, a escolha errada levaria à purificação do plasmídeo incorreto.
Em outra tarefa, a contagem de colônias de GPT-6 Astra ficou cerca de 12% acima da referência. Com o volume plaqueado e a diluição fixos, esse excesso elevaria na mesma proporção a estimativa de eficiência de introdução de DNA. O resultado descreve esse exemplo específico, não uma taxa geral de erro do modelo.