Die TheoPhysEval-Autoren berichten, dass GPT-6-Astra mit Codex in einem Durchlauf 49 von 50 Aufgaben im realistischen Track richtig beantwortete. Im isolierten Track waren es 46 von 50. Die Originalarbeit auf arXiv beschreibt einen Test mit überprüfbaren Rechnungen aus der theoretischen Physik, nicht mit großen offenen Forschungsfragen.
Was TheoPhysEval geprüft hat
Der Benchmark umfasst 50 unveröffentlichte Aufgaben aus 11 Themenbereichen. Sie erforderten Berechnungen mit bekannten Methoden; bewertet wurden die Endantworten. Bei vielen symbolischen Aufgaben wandelten die Forschenden die Antworten in Zahlenwerte um, um sie einheitlicher beurteilen zu können.
Ergebnisse der fünf Agenten-Paarungen
Die Autoren führten jeden Agenten einmal vollständig pro Track aus. Die Tabelle zeigt die dabei berichteten richtigen Endantworten:
| Agenten-Paarung | Realistischer Track | Isolierter Track |
| GPT-6-Astra mit Codex | 49/50 (98 %) | 46/50 (92 %) |
| Opus 5.5 mit Claude Code CLI | 46/50 (92 %) | 46/50 (92 %) |
| Gemini 3.8 Flash mit Antigravity | 34/50 (68 %) | 31/50 (62 %) |
| DeepSeek-V4.1-Flash mit Codex | 27/50 (54 %) | 25/50 (50 %) |
| GLM 5.3 mit Claude Code CLI | 21/50 (42 %) | 26/50 (52 %) |
Im realistischen Track waren Websuche und lokale Werkzeuge erlaubt. Im isolierten Track war die Websuche abgeschaltet; lokale Werkzeuge und Aufrufe beim Modellanbieter blieben möglich. GPT-6-Astra mit Codex lag in diesem Einzellauf im realistischen Track drei Aufgaben vor seinem Ergebnis im isolierten Track. Die Autoren weisen darauf hin, dass Ergebnisse bei weiteren Läufen schwanken können.
Was die Punktzahl über den Test aussagt
Die 49 von 50 richtigen Antworten beschreiben die Leistung von GPT-6-Astra mit Codex in diesem konkreten Benchmark-Durchlauf. Sie belegen keine allgemeine Fähigkeit, eigenständig Forschungsfragen auszuwählen oder neue physikalische Theorien zu entwickeln. Ein inverses Problem, bei dem eine Differentialgleichung zu einer vorgegebenen Kurve gefunden werden sollte, löste keines der getesteten Modelle.
Auch die Referenzlösungen waren nicht durchweg fehlerfrei: Nach Rücksprache mit Fachleuten korrigierten die Autoren mehrere Lösungen, die zuvor zu Meinungsverschiedenheiten mit Antworten von GPT-6-Astra geführt hatten. Nach den Korrekturen bewerteten sie die Antworten von GPT-6-Astra in diesen Fällen als richtig. Zudem konnten die Autoren nicht ausschließen, dass KI-Werkzeuge bei der Erstellung der Aufgaben oder Lösungen eine Rolle gespielt hatten.
Was der Kostenwert bedeutet
Für den realistischen Lauf mit 50 Aufgaben nennen die Autoren Gesamtkosten von 116,28 US-Dollar. Das entspricht rechnerisch 2,3256 US-Dollar pro Aufgabe, gerundet etwa 2,33 US-Dollar. Der Betrag bezieht sich auf die Ausführung dieses Benchmark-Laufs.
