h1: Wie KI mit Lean 4 formale Beweise entwickelt

h1 ist ein Arbeitsrahmen, in dem ein Sprachmodell mit Lean 4 formale Beweise entwickelt. Die Autoren berichten starke Ergebnisse in mehreren Mathematik-Benchmarks. Wie hoch sie ausfallen, hängt jedoch vom jeweiligen Modell, der Aufgabenmenge und dem Versuchsaufbau ab. Das Paper zu h1 beschreibt sowohl den Arbeitsablauf als auch die Bedingungen der Tests.

Wie h1 mit Lean 4 arbeitet

Lean 4 ist ein Beweisassistent: Er prüft formalen Beweiscode. h1 gibt dem Sprachmodell eine fortlaufend bearbeitete Datei und Werkzeuge an die Hand. Nach jeder Änderung liefert Lean Compilerfehler und noch offene Beweisziele zurück. Das Modell kann außerdem in Mathlib, einer Mathematikbibliothek für Lean, nach Definitionen und Hilfssätzen suchen oder Beweisschritte in einer Lean-Umgebung ausprobieren.

Scheitert eine Einreichung, fasst ein Reflexionsmodell den bisherigen Fortschritt und die Rückmeldungen zusammen. Das Sprachmodell kann daraufhin einen weiteren Versuch starten. h1 schreibt dabei keine feste Beweiszerlegung oder Suchstrategie vor; die Schleife läuft, bis die Prüfung gelingt oder das verfügbare Inferenzbudget aufgebraucht ist.

Was die Benchmark-Ergebnisse messen

Mit GPT-5.5 löste h1 laut Autoren 670 von 672 Aufgaben in PutnamBench. Für jede Aufgabe gab es einen Durchlauf, ohne Wiederholungen oder parallele Versuche.

Mit GPT-5.6 Sol berichten die Autoren 90 von 100 Aufgaben in FATE-X, 78 von 100 in FC100-solved, 14 von 23 Theoremen in FormalQualBench und 6 von 6 Aufgaben der IMO 2026. FATE-X umfasst Algebraaufgaben auf oder über dem Niveau einer Promotionszulassungsprüfung. FC100-solved enthält Aufgaben aus Formal Conjectures, für die informelle Lösungen bekannt sind. Die Ergebnisse beziehen sich auf unterschiedliche Tests und bilden keinen einzelnen Gesamtwert für mathematische Fähigkeiten.

Die Studie nennt außerdem acht gelöste Ziele aus 236 Aufgaben, die bei der Auswertung als offen eingestuft wurden. Darunter waren Varianten von Erdős 138 und 337, die OEIS-Einträge A108081, A211417 und A022030, Open Quantum Problem 35 sowie die Written on the Wall II Conjectures 100 und 314. Für die beiden Written-on-the-Wall-II-Ziele korrigierten die Autoren zunächst Fehler in den formalisierten Aussagen.

Was der Vergleich mit AlphaProof Nexus aussagt

Der hervorgehobene Vergleich betrifft fünf Erdős-Probleme, bei denen alle drei untersuchten Systeme mindestens einmal erfolgreich waren. Für diesen Vergleich mit Gemini 3.1 Pro berichten die Autoren folgende pass@1-Werte und mittlere Kosten je erfolgreichem Beweis:

Pass@1 bezeichnet hier die Erfolgsquote mit einem Versuch pro Problem. Die Kostenwerte sind API-äquivalente Schätzungen anhand des aufgezeichneten Tokenverbrauchs und angesetzter Referenzpreise. Rechnet man bei h1 auch erfolglose Gruppen ein, beträgt der berichtete mittlere Aufwand für pass@1 138 US-Dollar. Mit pass@3 erreichte h1 mindestens 82,5 % Erfolgsquote bei durchschnittlich 202 US-Dollar, ebenfalls einschließlich erfolgloser Gruppen.

Erdős 125 gehört nicht zu diesem Fünf-Probleme-Vergleich: Alle 16 h1-Replikate liefen dort in ein Lean-REPL-Timeout. Über alle sechs Erdős-Probleme hinweg berichten die Autoren für pass@1 eine Erfolgsquote von 68,75 % für h1 und 71,67 % für AlphaProof Nexus. Diese Werte beziehen sich auf die Sechsergruppe, nicht auf die Kostenfrontier mit fünf Problemen.

Was ein formal geprüfter Beweis aussagt

Eine erfolgreiche Kompilierung allein reicht für die abschließende Prüfung nicht aus. SafeVerify vergleicht die Einreichung mit der unveränderten Aufgabenstellung, prüft die Zielaussagen und zulässigen Axiome und spielt die akzeptierten Deklarationen anschließend durch den Lean-Kernel. Damit wird der Beweis der formalisierten Aussage unter den geprüften Bedingungen kontrolliert. Ob diese Formalisierung die beabsichtigte informelle Vermutung exakt wiedergibt, bleibt eine eigene mathematische Frage. Die Korrekturen an den beiden Written-on-the-Wall-II-Aussagen zeigen, warum diese Prüfung der Aufgabenformulierung dazugehört.