GPT-6 Astra schloss in TCSExam-Full 14 von 20 Aufgaben zu Lean-4-Theoremen mit einem vollständigen, formal akzeptierten Beweis ab. Bei den 30 offenen Vermutungen erhielt Astra keine vollständige Lösung. Andere getestete Agenten hatten akzeptierte Einreichungen, die laut den TCSExam-Autoren bereits veröffentlichte OpenAI-Ergebnisse adaptierten. Die TCSExam-Arbeit berichtet über beide Ergebnisse.
Für die Einordnung eines Benchmarkwerts zählt zuerst, welche Aufgaben dahinterstehen. Hier geht es um formalisierte Theoreme, nicht um eine allgemeine Trefferquote für Mathematik.
Was die 70 Prozent bei Lean 4 aussagen
TCSExam-Full umfasst 100 Aufgaben aus vier Bereichen: 20 Theoremaufgaben, 30 Solver-Probleme, 20 Konstruktionsaufgaben und 30 offene Vermutungen. Für die Theoremaufgaben nutzte der Benchmark Lean 4, eine Sprache zur formalen Beschreibung mathematischer Beweise. Die Aufgaben waren „bare“, also ohne vorgegebene Zwischenschritte oder Lemmata.
Ein Beweis zählte erst dann als erfolgreich, wenn er die formale Prüfung bestand. Unvollständige Beweise erhielten bei diesen Aufgaben keinen Punkt. Die 70,0 Prozent entsprechen daher 14 vollständig akzeptierten Lösungen aus den 20 Theoremaufgaben dieses Tests.
Wer Astra aus einem anderen Aufgabentyp kennt, findet in NeoTeos Einordnung zum ARC-AGI-3-Test einen Blick auf abstrakte Spielumgebungen. TCSExam prüfte dagegen formalisierte Forschungsaufgaben.
Welche Bedingungen für Astra galten
Für GPT-6 Astra verwendete TCSExam den Harness Codex 0.154.0 bei maximalem Aufwand. Ein Harness ist die technische Umgebung, die festlegt, wie ein Modell mit Aufgaben und Werkzeugen arbeitet. Astra erhielt einen Versuch pro Aufgabe und ein Entwicklungsbudget von bis zu zwölf Stunden je Versuch.
Der allgemeine Internetzugang war bei den Theorem- und Solveraufgaben deaktiviert. Bei Konstruktionsaufgaben und offenen Vermutungen war er erlaubt. Das Ergebnis beschreibt somit Astra in dieser Agentenkonfiguration und unter diesem Aufgabenprotokoll.
Was im Full-Index von 71,9 steckt
Der Full-Index von 71,9 ist ein Gesamtwert über die vier Aufgabenbereiche, kein separater Lean-Wert. Die TCSExam-Bewertungsformel kombiniert die Mittelwerte der Bereiche mit den Gewichten 30, 30, 30 und 10: 30P + 30S + 30C + 10O. Die Scoring-Dokumentation von TCSExam erläutert die Formel.
| Bereich in TCSExam-Full | Ergebnis für Astra | Was der Wert erfasst |
| Theoremaufgaben | 70,0 % (14 von 20) | Vollständig akzeptierte Beweise |
| Solver-Aufgaben | 64,7 % | Relative Punktzahl im Solver-Bereich |
| Konstruktionsaufgaben | 104,9 % | Belohnung für die Konstruktionen im Verhältnis zur Referenz |
| Offene Vermutungen | 0,0 % (0 von 30) | Akzeptierte vollständige Lösungen |
Die Werte in der Tabelle messen unterschiedliche Dinge. Bei den Konstruktionsaufgaben kann die Belohnung über 100 Prozent liegen, wenn eine Referenz übertroffen wird. Deshalb lässt sich der Gesamtindex nicht als Theorem- oder Lean-Quote lesen.
Astra war nicht der einzige Agent mit akzeptierten Einreichungen
Astra erhielt bei keiner der 30 offenen Vermutungen eine vollständige Lösung als akzeptiert. Für andere Agenten verzeichnet die Arbeit dagegen Einreichungen bei Ryser und MIRUP: Kimi K3.1 Pro hatte einen akzeptierten Ryser-Versuch unter drei; DeepSeek V4.1 Flash 1017 hatte zwei akzeptierte Ryser-Versuche unter drei und drei akzeptierte MIRUP-Versuche unter drei.
Die Autoren schreiben, dass diese Einreichungen bereits veröffentlichte Beweise oder Gegenbeispiele von OpenAI adaptierten. Damit beziehen sich die null akzeptierten Lösungen auf Astra, nicht auf sämtliche im Benchmark ausgewerteten Agenten.
TCSExam-Lite ist ein eigener Vergleich
Im separaten TCSExam-Lite erzielte GPT-6 Astra einen Index von 67,0; Claude Opus 5.5 kam auf 72,3. Lite umfasst 20 Aufgaben, fünf pro Bereich. Claude Opus 5.5 wurde nur in Lite bewertet, daher gehört sein Wert nicht zu einem Vergleich im Full-Suite.
