Dans TheoPhysEval, les auteurs rapportent que GPT-6-Astra associé à Codex a fourni 49 réponses correctes sur 50 dans la piste réaliste et 46 sur 50 dans la piste isolée. Le benchmark portait sur des calculs de physique théorique à réponse vérifiable, et chaque agent n’a effectué qu’un seul passage complet dans chaque piste.
Des calculs vérifiables, pas des problèmes ouverts
TheoPhysEval réunit 50 problèmes de physique théorique répartis en 11 thèmes. Les agents devaient les résoudre sans indications humaines, en appliquant des méthodes connues à des calculs issus de la recherche. Les auteurs précisent que ces exercices ne constituaient pas de grands problèmes ouverts et ne demandaient pas d’inventer de nouvelles théories physiques.
La notation portait sur les réponses finales. Pour faciliter la comparaison, les auteurs ont converti de nombreux résultats symboliques en réponses numériques. Deux énoncés laissaient toutefois certaines conventions insuffisamment précisées.
Résultats selon les outils autorisés
La piste réaliste autorisait la recherche sur le Web et les outils locaux. La piste isolée désactivait la recherche sur le Web, tout en conservant les outils locaux et les appels au fournisseur du modèle.
| Paire évaluée | Piste réaliste | Piste isolée |
| GPT-6-Astra avec Codex | 49/50 | 46/50 |
| Opus 5.5 avec Claude Code CLI | 46/50 | 46/50 |
| Gemini 3.8 Flash avec Antigravity | 34/50 | 31/50 |
| DeepSeek-V4.1-Flash avec Codex | 27/50 | 25/50 |
| GLM 5.3 avec Claude Code CLI | 21/50 | 26/50 |
GPT-6-Astra avec Codex a obtenu trois réponses correctes de plus dans la piste réaliste que dans la piste isolée. Opus 5.5 avec Claude Code CLI a obtenu le même score dans les deux. Les auteurs estiment que les écarts entre pistes restent dans l’incertitude statistique d’une évaluation menée une seule fois. L’effort de raisonnement était réglé au maximum pour les modèles évalués, sauf pour Gemini 3.8 Flash, réglé sur son niveau maximal disponible, « high ».
Ce que le score ne résume pas
Les auteurs ont d’abord considéré plusieurs réponses de GPT-6-Astra comme erronées. Après consultation d’experts, ils ont corrigé des erreurs dans les solutions de référence et jugé correctes les réponses d’Astra concernées. Un problème inverse, qui demandait de trouver une équation différentielle reproduisant une courbe donnée, n’a été résolu par aucun des modèles évalués.
Les auteurs indiquent aussi que certains contributeurs avaient utilisé des outils d’IA pour préparer des problèmes. Ils n’ont donc pas pu exclure une contamination des données par l’IA. Ces éléments, avec l’exécution unique de chaque piste, situent le 49/50 dans le cadre précis d’un test de réponses finales, plutôt que comme une mesure générale de la capacité à mener une recherche en physique.
Le coût rapporté pour cette exécution
Les auteurs chiffrent l’exécution réaliste de GPT-6-Astra à 116,28 $US pour 50 tâches. La division donne 2,3256 $US par tâche, soit environ 2,33 $US. Ce montant correspond au coût de cette exécution du benchmark.
