Volgens de auteurs van TheoPhysEval gaf GPT-6-Astra met Codex 49 van de 50 juiste eindantwoorden in de realistische track en 46 van de 50 in de geïsoleerde track. Dat was één uitvoering van een benchmark met afgebakende, controleerbare berekeningen. De 50 opgaven waren geen grote open problemen in de natuurkunde, maar toepassingen van bekende methoden. Het oorspronkelijke artikel over TheoPhysEval beschrijft de opzet en resultaten.
Wat TheoPhysEval testte
TheoPhysEval bevat 50 ongepubliceerde opgaven uit 11 deelgebieden van de theoretische natuurkunde. De benchmark onderzocht of AI-agenten zonder menselijke aanwijzingen correcte eindantwoorden konden geven op berekeningen met controleerbare uitkomsten. De auteurs beoordeelden de eindantwoorden; veel symbolische opgaven werden omgezet naar numerieke antwoorden om de beoordeling consistenter te maken.
Dat is een beperkte maat voor het toepassen van bestaande technieken. De test beoordeelde niet of een model zelf belangrijke onderzoeksvragen kan kiezen of nieuwe natuurkundige theorieën kan ontwikkelen. Bij één inverse opgave, waarin een differentiaalvergelijking moest worden gevonden die een gegeven curve opleverde, slaagde geen van de geteste modellen.
Scores met en zonder webzoeken
De realistische track stond webzoeken en lokale hulpmiddelen toe. In de geïsoleerde track was webzoeken uitgeschakeld, maar lokale hulpmiddelen en oproepen naar de modelaanbieder bleven toegestaan. Die track was dus geen test zonder hulpmiddelen.
| Geteste agentcombinatie | Realistische track, goed van 50 | Geïsoleerde track, goed van 50 |
| GPT-6-Astra met Codex | 49/50 | 46/50 |
| Opus 5.5 met Claude Code CLI | 46/50 | 46/50 |
| Gemini 3.8 Flash met Antigravity | 34/50 | 31/50 |
| DeepSeek-V4.1-Flash met Codex | 27/50 | 25/50 |
| GLM 5.3 met Claude Code CLI | 21/50 | 26/50 |
De auteurs voerden de volledige reeks voor elke agent één keer per track uit. GPT-6-Astra met Codex scoorde in die ene uitvoering drie opgaven hoger in de realistische track; Opus 5.5 met Claude Code CLI kwam in beide tracks op 46. De auteurs waarschuwen dat de uitkomsten tussen uitvoeringen kunnen variëren, dus deze scores meten geen herhaalbaarheid.
Wat de score wel en niet zegt
De auteurs raadpleegden experts nadat antwoorden van GPT-6-Astra aanvankelijk als onjuist waren beoordeeld. Daarbij werden subtiele fouten in verschillende referentieoplossingen gevonden en gecorrigeerd; volgens de auteurs waren de betreffende antwoorden van Astra daarna juist. Ook noemen zij ambiguïteiten in sommige opgaven.
Verder konden de auteurs niet uitsluiten dat AI-gebruik bij het uitwerken van de opgaven tot datalekken had geleid. Die kanttekeningen horen bij de interpretatie van de gerapporteerde score. De uitkomst beschrijft hoe de geteste agentcombinaties op deze beperkte reeks controleerbare berekeningen presteerden.
Wat de uitvoeringskosten betekenen
De auteurs rapporteerden 116,28 dollar aan kosten voor de realistische uitvoering met GPT-6-Astra op 50 opgaven. Gedeeld door 50 komt dat neer op 2,3256 dollar, afgerond ongeveer 2,33 dollar per opgave. Dat is een rekenkundig gemiddelde van de benchmarkuitvoering, geen abonnementsprijs voor GPT-6-Astra.
