Le 6 novembre 2026, OpenAI a présenté BioBasicsBench, un benchmark de 100 tâches destiné à évaluer la façon dont des agents d’IA interprètent des données de laboratoire. Pour GPT-6 Astra, OpenAI rapporte une récompense moyenne de 66,7 % au réglage xhigh : ce chiffre représente du crédit obtenu selon un barème, et non la proportion de tâches entièrement réussies. (OpenAI)

Un score moyen de barème renseigne sur les réponses évaluées ; il ne compte pas les expériences menées à bien.

Ce que BioBasicsBench met à l’épreuve

Les 100 tâches couvrent cinq domaines : méthodes liées aux protéines, imagerie et cytométrie, quantification et essais, méthodes sur les acides nucléiques, et clonage moléculaire. Les agents doivent interpréter des éléments expérimentaux bruts, repérer des erreurs et reconnaître quand les données ne justifient pas une conclusion. Le benchmark évalue cette lecture des preuves, pas le pilotage autonome d’équipements de laboratoire.

Les exercices peuvent combiner des images de gels et de boîtes de Petri, des données de microscopie, des fichiers de séquençage, des exports d’instruments ou des vidéos de protocole. Ligo, une entreprise de biotechnologie spécialisée dans la conception d’enzymes, a élaboré les tâches à partir de ses propres données expérimentales. Selon OpenAI, chaque tâche a été relue par un autre scientifique de Ligo, par un spécialiste externe de laboratoire titulaire d’un doctorat, puis lors d’une revue interne finale.

OpenAI a évalué sept modèles dans 37 configurations de modèle et de raisonnement, avec cinq tentatives pour chacune des 100 tâches par configuration. Cela représente 18 500 résultats, mais toujours 100 tâches distinctes : les tentatives répétées ne créent pas de nouveaux exercices.

Comment lire les scores xhigh

La récompense moyenne correspond au crédit moyen obtenu sur les critères du barème, exprimé en pourcentage du crédit total possible. Une tâche peut rapporter des points pour une conclusion, des mesures, le raisonnement ou la reconnaissance de données insuffisantes. Un modèle peut donc recevoir un crédit partiel sans avoir entièrement résolu l’exercice.

ModèleRécompense moyenne en xhighIntervalle de confiance à 95 %
GPT-6 Astra66,7 %60,3–73,1 %
GPT-6.1 Sol62,0 %55,6–68,4 %
GPT-5.6 Sol43,8 %37,6–50,0 %

OpenAI calcule ces intervalles en rééchantillonnant les tâches et en gardant ensemble les cinq tentatives associées à chacune. Les résultats du tableau sont ceux que l’entreprise rapporte pour son évaluation au réglage xhigh.

Des exemples où les détails expérimentaux comptent

Dans un exemple de microscopie, OpenAI décrit deux fenêtres de détection qui se chevauchent : celle du canal marqué SYTOX va de 470 à 540 nm, et celle du canal vert FUN-1 de 525 à 580 nm. Leur zone commune s’étend de 525 à 540 nm. OpenAI indique que ce chevauchement peut provoquer des interférences, sans en avoir mesuré l’ampleur. GPT-6 Astra a repéré ce chevauchement comme une source possible de perturbation et demandé de meilleurs contrôles.

Une étiquette de contrôle à examiner

Une main gantée tient une boîte de Petri ; une annotation orange entoure l’étiquette sur son bord.

Dans un autre exercice, Astra a repéré un contrôle antibiotique mal étiqueté. L’étiquette visible indique « LB Kan50 », tandis que l’expérience utilisait de l’ampicilline.

Des pistes de PCR mal sélectionnées

Gel d’électrophorèse avec dix pistes numérotées et des repères roses et turquoise sur plusieurs bandes.

Dans un exercice de colony-PCR, GPT-6 Astra a retenu les pistes 4, 6, 7 et 8, alors que la référence retenait les pistes 5, 9 et 10. Selon OpenAI, cette sélection aurait conduit à purifier le mauvais plasmide.

OpenAI rapporte aussi un comptage de colonies environ 12 % supérieur à la référence dans une tâche. Avec le volume étalé et la dilution maintenus fixes, cette erreur aurait augmenté dans la même proportion l’estimation de l’efficacité d’introduction de l’ADN.