Die Erfolgsquote der besten getesteten KI-Modelle stieg bei theoretischen Wissenschaftsaufgaben von etwa 2 % um die Mitte 2024 auf etwa 35 % um die Mitte 2026. WIRED berichtet diese Werte für einen Benchmark aus sechs Fachgebieten; aus den gerundeten Zahlen ergibt sich ein Plus von ungefähr 33 Prozentpunkten.

Welche Aufgaben der Benchmark umfasste

Laut WIRED prüfte die Untersuchung OpenAI o1, o3, GPT-5, GPT-5.1, GPT-5.4 und GPT-5.5. Die Aufgaben stammten aus Wahrscheinlichkeit, Statistiktheorie, Wirtschaftstheorie, Hochenergie-Theorie, Gravitation und Kosmologie sowie Quantenphysik.

Die Probleme entnahmen die Forschenden Fachartikeln, die zwischen Dezember 2025 und Mai 2026 online erschienen waren. Während der Tests war der Internetzugang gesperrt. Die zur Bewertung herangezogenen Lösungen erschienen in Veröffentlichungen, die nach den Trainingsstichtagen der getesteten Modelle veröffentlicht worden waren.

Der Test erfasste keine experimentelle Forschung

WIRED zufolge beschränkte sich der Benchmark auf theoretische Probleme, die ohne Simulationen oder Experimente bearbeitet werden konnten. Die berichteten Prozentwerte beschreiben deshalb die Leistung bei diesen Testaufgaben, nicht bei experimenteller Forschung.

Auch die vollständige Herleitung zählt: Gabriel Manso, ein Mitglied des Studienteams, betonte laut WIRED, dass Forschende weiterhin gute Fragen entwickeln und Lösungen sorgfältig prüfen müssen. Eine Antwort könne überzeugend wirken, obwohl sich bei genauer Betrachtung der gesamte Lösungsgang als fehlerhaft erweise. WIRED berichtete außerdem, OpenAI habe nach der Veröffentlichung eines Datensatzes mehrere Lösungen daraus zurückgezogen. Die frühere NeoTeo-Einordnung zu KI und Mathematik behandelt Prüfungsfragen anhand eines konkreten OpenAI-Falls.

BootLoops verfolgt einen anderen Forschungsansatz

Ein separates Beispiel für KI-gestützte Forschung beschreibt Science: Mit Claude und dem Werkzeugpaket BootLoops bearbeiteten Forschende 30 Beispiele einer Klasse von Integralen. 15 davon waren zuvor als ungelöst beschrieben worden. Das größere Vorhaben brachte laut Science 36 Preprints hervor.

Anders als der feste Benchmark unterstützte BootLoops damit konkrete Forschungsprojekte über wissenschaftliche Fachgebiete hinweg. Science hebt dabei auch die Rolle menschlicher Fachkenntnis hervor: Forschende wirkten an der Auswahl sinnvoller Fragen und der Beurteilung der Ergebnisse mit.