Według relacji WIRED opublikowanej 14 października odsetek poprawnych odpowiedzi najlepszych testowanych modeli OpenAI wzrósł z około 2% w połowie 2024 roku do około 35% w połowie 2026 roku. To różnica około 33 punktów procentowych, obliczona na podstawie zaokrąglonych wartości. Test obejmował problemy teoretyczne z sześciu dziedzin i nie uwzględniał zadań wymagających symulacji ani eksperymentów. WIRED

Jakie zadania i modele objął benchmark?

W badaniu uczestniczyli Neil Thompson, Gabriel Manso i Claudio Mayrink Verdun. Zespół testował modele OpenAI o1, o3, GPT-5, GPT-5.1, GPT-5.4 i GPT-5.5. Zadania pochodziły z artykułów naukowych zamieszczonych w internecie między grudniem 2025 a majem 2026 roku.

Benchmark obejmował rachunek prawdopodobieństwa, teorię statystyki, teorię ekonomii, teorię wysokich energii, grawitację i kosmologię oraz fizykę kwantową. Według WIRED rozwiązania wzorcowe pojawiły się w pracach opublikowanych po granicznych datach treningu testowanych modeli, a podczas testu odcięto im dostęp do internetu.

Dlaczego wynik nie mierzy nauki eksperymentalnej?

Badacze uwzględnili problemy teoretyczne, które można było rozwiązać bez symulacji i eksperymentów. Wynik opisuje więc skuteczność modeli w tym konkretnym zakresie, a nie ich pracę w laboratorium czy przy badaniach wymagających eksperymentów.

Liczy się też sprawdzenie pełnego rozwiązania. WIRED podał, że OpenAI wycofało po publikacji kilka rozwiązań ze zbioru danych. Gabriel Manso, członek zespołu badawczego, zwracał uwagę na potrzebę weryfikowania całego toku rozumowania modelu: odpowiedź może wyglądać na poprawną, a jej analiza ujawnić błąd.

NeoTeo opisywało już zgłoszenie OpenAI dotyczące równań Naviera–Stokesa i rolę oceny matematycznej.

BootLoops: odrębny sposób wykorzystania AI w badaniach

Osobny przykład opisany przez Science pokazuje inny rodzaj pracy niż benchmark: badacze używali modelu Claude wraz z zestawem narzędzi BootLoops, by szukać matematycznych struktur w literaturze naukowej. W ramach początkowego projektu rozwiązali 30 przykładów z pewnej klasy całek, w tym 15 opisanych jako wcześniej nierozwiązane. Szersze przedsięwzięcie przyniosło 36 preprintów. Science

Wśród odrębnych zastosowań znalazł się ACCSTACK — katalog wzorców akcentu i tonu tworzony przez językoznawców z pomocą agentów AI i narzędzi BootLoops. Według Science obejmował ponad 6000 języków, a baza była ponad osiem razy większa od największego wcześniejszego zbioru tego rodzaju. Wybór wartościowych pytań i ocena wyników nadal wymagały wiedzy oraz osądu badaczy.