Dans TCSExam-Full, GPT-6 Astra a fourni des preuves complètes acceptées pour 14 des 20 théorèmes Lean 4, soit 70,0 %. Le modèle n’a obtenu aucune résolution complète acceptée parmi les 30 conjectures ouvertes. Ces résultats, rapportés par les auteurs de l’étude TCSExam, concernent un protocole précis. D’autres agents ont, eux, obtenu des soumissions acceptées sur des conjectures en adaptant des résultats d’OpenAI déjà publiés.
Le taux de 70,0 % correspond à 14 preuves acceptées sur 20 tâches Lean 4, avec un seul essai par tâche.
Ce que signifie le résultat de 14 théorèmes sur 20
Les 20 tâches de théorèmes de TCSExam-Full étaient des problèmes de recherche formalisés en Lean 4, sans lemmes intermédiaires fournis. Pour compter comme réussie, une tâche exigeait une preuve complète acceptée par les vérifications formelles de Lean. Une preuve incomplète recevait zéro sur cette piste.
Le résultat de 70,0 % décrit donc la part de ces 20 tâches précises pour lesquelles l’agent évalué a soumis une preuve acceptée. Il ne constitue pas un taux général de réussite de GPT-6 Astra en Lean.
Le protocole associait Astra à un environnement précis
TCSExam a évalué GPT-6 Astra avec Codex 0.154.0, au niveau d’effort maximal et avec un seul essai par tâche. Chaque essai disposait d’un budget de développement pouvant aller jusqu’à 12 heures. L’accès général à Internet était désactivé pour les tâches de théorèmes et de résolution de problèmes de solveur, mais autorisé pour les constructions et les conjectures ouvertes.
Le résultat porte ainsi sur un agent configuré avec un harnais, un budget et des règles d’accès déterminés, et non sur le modèle isolé de ces conditions.
Pourquoi l’indice Full de 71,9 n’est pas un score Lean
TCSExam-Full réunit 100 tâches : 20 théorèmes, 30 problèmes de résolution par solveur, 20 tâches de construction mathématique et 30 conjectures ouvertes. Son indice combine les résultats de ces quatre pistes selon la formule 30P + 30S + 30C + 10O. La documentation officielle de notation précise les pondérations.
Les résultats d’Astra sur les quatre pistes n’ont pas tous la même définition :
| Piste | Résultat d’Astra | Ce que mesure le résultat |
| Théorèmes Lean 4 | 70,0 % (14/20) | Proportion de tâches avec une preuve complète acceptée |
| Résolution par solveur | 64,7 % | Score relatif sur les problèmes de solveur |
| Constructions | 104,9 % | Récompense de construction, qui peut dépasser 100 % lorsqu’une référence est surpassée |
| Conjectures ouvertes | 0/30 | Résolutions complètes acceptées |
L’indice Full de 71,9 agrège ces mesures ; ce n’est pas un score propre aux théorèmes. Le taux de preuve Lean, lui, est de 70,0 %.
Astra n’a pas eu de résolution acceptée sur les conjectures
Sur les 30 conjectures ouvertes de TCSExam-Full, GPT-6 Astra n’a obtenu aucune résolution complète acceptée. Le résultat n’était pas identique pour tous les agents : Kimi K3.1 Pro a eu une soumission acceptée sur le problème de Ryser en un essai sur trois. DeepSeek V4.1 Flash 1017 en a eu deux sur trois sur Ryser et trois sur trois sur MIRUP. Les auteurs précisent que ces soumissions adaptaient des preuves ou contre-exemples d’OpenAI déjà publiés, comme le rapporte le site officiel de TCSExam.
Ces résultats distinguent l’acceptation d’une soumission complète de la découverte indépendante d’une nouvelle preuve ou d’un nouveau contre-exemple.
TCSExam-Lite donne un autre classement
Dans TCSExam-Lite, qui comprend 20 tâches, cinq par piste, Claude Opus 5.5 a obtenu un indice de 72,3 et GPT-6 Astra de 67,0. Claude Opus 5.5 a été évalué uniquement sur Lite. Ces scores décrivent donc cette suite, distincte de TCSExam-Full.
Pour un autre type d’évaluation de GPT-6 Astra, NeoTeo a aussi expliqué ce que mesurent ses scores sur ARC-AGI-3.
