Gli autori di TheoPhysEval riportano che GPT-6-Astra, usato con Codex, ha fornito risposte corrette a 49 problemi su 50 nella modalità con ricerca Web e a 46 su 50 in quella isolata. Il test comprendeva calcoli circoscritti con risposte verificabili, non grandi problemi aperti di fisica, e ogni agente ha affrontato l’intera prova una sola volta per modalità. (Studio TheoPhysEval)
Che cosa ha misurato TheoPhysEval
TheoPhysEval comprendeva 50 problemi inediti distribuiti in 11 aree della fisica teorica. Gli autori li descrivono come esercizi che applicano tecniche note a risultati esistenti. La valutazione considerava le risposte finali: molti problemi simbolici sono stati convertiti in risposte numeriche, e alcuni quesiti presentavano ambiguità legate alle convenzioni adottate.
Perciò il 49/50 riguarda il completamento di quella serie di calcoli. Non equivale a dire che GPT-6-Astra abbia risolto 49 problemi aperti o dimostrato di poter scegliere e condurre autonomamente un programma di ricerca scientifica.
I risultati con e senza ricerca Web
La modalità realistica consentiva la ricerca Web e l’uso di strumenti locali. Quella isolata disattivava la ricerca Web, ma manteneva gli strumenti locali e consentiva le chiamate al fornitore del modello. Ecco i risultati riportati dagli autori per le cinque coppie valutate:
| Coppia di agenti | Modalità realistica, risposte corrette su 50 | Modalità isolata, risposte corrette su 50 |
| GPT-6-Astra con Codex | 49/50 | 46/50 |
| Opus 5.5 con Claude Code CLI | 46/50 | 46/50 |
| Gemini 3.8 Flash con Antigravity | 34/50 | 31/50 |
| DeepSeek-V4.1-Flash con Codex | 27/50 | 25/50 |
| GLM 5.3 con Claude Code CLI | 21/50 | 26/50 |
Il divario di tre risposte tra le due modalità per GPT-6-Astra non basta a isolare l’effetto della ricerca Web: gli autori hanno eseguito ogni prova completa una sola volta e segnalano che i risultati possono variare tra un’esecuzione e l’altra. Opus 5.5 con Claude Code CLI ha ottenuto 46 risposte corrette su 50 in entrambe.
Una prova singola, con alcune soluzioni di riferimento corrette
Gli autori hanno consultato esperti dopo aver trovato discrepanze tra alcune risposte di GPT-6-Astra e le soluzioni di riferimento. In seguito hanno corretto diversi riferimenti e giudicato corrette le risposte di Astra coinvolte. Il punteggio riflette quindi anche un lavoro di revisione delle chiavi di risposta.
La prova non ha inoltre escluso ogni possibile contaminazione dei dati legata all’IA: alcuni collaboratori avevano usato strumenti di IA nella risoluzione dei problemi. E un problema inverso, che chiedeva di trovare un’equazione differenziale capace di riprodurre una curva data, non è stato risolto da nessuno dei modelli valutati.
Il costo riportato per l’esecuzione
Gli autori indicano un costo di 116,28 dollari statunitensi per l’esecuzione realistica dei 50 problemi. Dividendo il totale per il numero di prove, la media aritmetica è di circa 2,33 dollari per problema. È il costo di quella specifica esecuzione del benchmark.
