OpenAI presentó BioBasicsBench el 6 de noviembre de 2026 junto con Ligo, una empresa de biotecnología centrada en el diseño de enzimas. El benchmark reúne 100 tareas de laboratorio para evaluar cómo los agentes de IA interpretan datos experimentales, detectan errores y reconocen cuándo la evidencia no basta para sostener una conclusión. En su evaluación, OpenAI comunicó una recompensa media del 66,7 % del crédito disponible para GPT-6 Astra en el nivel xhigh, la configuración de razonamiento más alta que informó para los siete modelos. (OpenAI)

Una recompensa media de rúbrica resume el crédito obtenido; no cuenta cuántas tareas se resolvieron por completo.

Qué evalúa BioBasicsBench

Las 100 tareas cubren cinco áreas: métodos de proteínas; imagen y citometría; cuantificación y ensayos; métodos de ácidos nucleicos; y clonación molecular. Para resolverlas, los agentes deben interpretar materiales como imágenes de geles y placas, secuencias, pilas de microscopía, exportaciones de instrumentos y vídeos de protocolos.

Ligo creó las tareas a partir de sus propios datos experimentales y preparó los criterios de evaluación. Según OpenAI, cada tarea pasó por la revisión de otro científico de Ligo, la de un científico externo con nivel de doctorado en trabajo experimental de laboratorio y una revisión interna final.

La evaluación abarcó siete modelos y 37 combinaciones de modelo y nivel de razonamiento. OpenAI ejecutó cinco intentos por tarea y configuración: en total, 18.500 resultados sobre las mismas 100 tareas. Algunas tareas incluían vídeos de protocolos y otras, placas de agar con colonias; OpenAI contabilizó cada tipo en siete tareas. Las hojas de referencia aparecían en 21. Esas categorías pueden solaparse, así que no describen partes excluyentes del total.

Qué significan las puntuaciones de xhigh

La recompensa media expresa el crédito de rúbrica obtenido como porcentaje del total disponible. Una tarea puede recibir crédito parcial por sus mediciones o razonamiento, por una conclusión correcta o por reconocer que los datos no permiten concluir algo. Por eso, el 66,7 % de GPT-6 Astra no significa que completara correctamente 66,7 de las 100 tareas.

ModeloRecompensa media en xhighIntervalo de confianza del 95 %
GPT-6 Astra66,7 %60,3–73,1 %
GPT-6.1 Sol62,0 %55,6–68,4 %
GPT-5.6 Sol43,8 %37,6–50,0 %

Los intervalos de confianza se calcularon mediante remuestreo de tareas completas, manteniendo juntos los cinco intentos de cada tarea. La tabla resume el crédito medio comunicado por OpenAI para tres modelos en la misma configuración; no es un recuento de tareas resueltas.

Una señal solapada y un control mal rotulado

Una mano con guante turquesa sostiene una placa de agar; un óvalo naranja señala la etiqueta «LB Kan50» en el borde.

En un ejemplo de microscopía, el canal marcado para SYTOX abarcaba de 470 a 540 nm y el canal verde de FUN-1, de 525 a 580 nm. El tramo compartido va de 525 a 540 nm, un solapamiento que podía permitir interferencia entre señales. OpenAI describió esa posibilidad, pero no cuantificó la interferencia en el ejemplo.

En otra tarea, la placa estaba rotulada para kanamicina, mientras que el experimento utilizaba ampicilina. La etiqueta «LB Kan50» identifica el antibiótico distinto del empleado en el ensayo.

La selección de carriles y el recuento de colonias

Gel oscuro con diez carriles numerados y bandas luminosas; los carriles seleccionados por Astra y por la referencia aparecen marcados en rosa y turquesa.

En una tarea de colony-PCR, GPT-6 Astra seleccionó los carriles 4, 6, 7 y 8; la referencia del benchmark seleccionaba los carriles 5, 9 y 10. OpenAI indicó que esa selección habría llevado a purificar un plásmido incorrecto.

En otro ejemplo, GPT-6 Astra contó aproximadamente un 12 % más de colonias que la referencia. Con el volumen sembrado y la dilución fijos, ese exceso habría elevado en la misma proporción la estimación de eficiencia de introducción de ADN. Es un resultado de una tarea concreta: el recuento no representa una tasa general de error del modelo.