Autorzy TheoPhysEval podają, że GPT-6-Astra z Codex uzyskał 49 poprawnych odpowiedzi na 50 zadań w trybie realistycznym i 46 na 50 w trybie izolowanym. To wynik jednego przebiegu benchmarku obejmującego sprawdzalne obliczenia z fizyki teoretycznej. Oryginalny artykuł TheoPhysEval opisuje zadania oparte na znanych metodach, a nie otwarte problemy badawcze.
Co sprawdzał TheoPhysEval
TheoPhysEval składał się z 50 niepublikowanych zadań z 11 obszarów fizyki teoretycznej. Oceniano odpowiedzi końcowe agentów. Wiele zadań zapisanych symbolicznie przekształcono w odpowiedzi numeryczne, by ułatwić ocenianie; autorzy odnotowali też niejednoznaczności konwencji w części poleceń.
Wynik 49/50 nie oznacza więc rozwiązania 49 nierozstrzygniętych zagadnień fizycznych. Zestaw sprawdzał, czy agenci potrafią zastosować znane techniki do konkretnych problemów z weryfikowalnymi odpowiedziami. Nie oceniał formułowania nowych teorii ani wyboru pytań badawczych.
Jak wypadły pary agentów
W trybie realistycznym agenci mogli korzystać z wyszukiwania w sieci i narzędzi lokalnych. Tryb izolowany wyłączał wyszukiwanie w sieci, ale nadal dopuszczał narzędzia lokalne i wywołania dostawcy modelu.
| Para modelu i narzędzia | Tryb realistyczny | Tryb izolowany |
| GPT-6-Astra z Codex | 49/50 (98%) | 46/50 (92%) |
| Opus 5.5 z Claude Code CLI | 46/50 (92%) | 46/50 (92%) |
| Gemini 3.8 Flash z Antigravity | 34/50 (68%) | 31/50 (62%) |
| DeepSeek-V4.1-Flash z Codex | 27/50 (54%) | 25/50 (50%) |
| GLM 5.3 z Claude Code CLI | 21/50 (42%) | 26/50 (52%) |
GPT-6-Astra z Codex uzyskał w tej próbie o trzy poprawne odpowiedzi więcej w trybie realistycznym niż w izolowanym. Opus 5.5 z Claude Code CLI zdobył 46 punktów w obu trybach. Ponieważ autorzy przeprowadzili tylko jeden pełny przebieg dla każdej pary w każdym trybie, te różnice nie rozstrzygają, jaki wpływ miało samo wyszukiwanie w sieci.
Co ogranicza wnioski z wyniku
Każda para agentów wykonała cały zestaw tylko raz w każdym trybie. Autorzy zaznaczają, że wyniki mogą się zmieniać między przebiegami. Zadania, których nie ukończono w ciągu ośmiu godzin, przerywano; wielozadaniowe problemy z dodatku A miały limit 20 godzin.
Autorzy skonsultowali z ekspertami kilka odpowiedzi Astra, które początkowo uznali za błędne. Po tych konsultacjach poprawili część rozwiązań referencyjnych i ocenili odpowiedzi Astra jako poprawne. Żaden z testowanych modeli nie rozwiązał jednego problemu odwrotnego, w którym należało znaleźć równanie różniczkowe odtwarzające zadaną krzywą.
Autorzy nie mogli też wykluczyć zanieczyszczenia danych związanego z wykorzystaniem AI przez współtwórców zadań. Łącznie wynik opisuje działanie agentów w konkretnym, ograniczonym teście, a nie ogólną zdolność do samodzielnego prowadzenia badań fizycznych.
Koszt przebiegu testu
Autorzy podali koszt 116,28 USD za realistyczny przebieg obejmujący 50 zadań. Podzielenie tej kwoty przez liczbę zadań daje średnio 2,33 USD na zadanie. To koszt wykonania benchmarku w opisanych warunkach.
