h1 w Lean 4: co pokazują wyniki dowodzenia twierdzeń

h1 to opracowany przez badaczy z Meta FAIR i New York University zestaw narzędzi dla modelu językowego, który tworzy dowody w Lean 4. Autorzy opisują wyniki z kilku benchmarków, ale najgłośniejsze porównanie z AlphaProof Nexus dotyczy tylko pięciu problemów Erdősa, a podane koszty są średnimi warunkowymi względem sukcesu. W artykule opisującym h1 przedstawiają zarówno sposób pracy systemu, jak i granice tych wyników.

Jak h1 tworzy dowód w Lean 4

h1 nie jest jednym modelem językowym. To otoczka, która pozwala modelowi pracować nad dowodem w Lean 4: środowisku programistycznym i asystencie dowodzenia, w którym można formalnie zapisać twierdzenie oraz jego dowód.

Model wielokrotnie edytuje ten sam plik. Po każdej zmianie Lean kompiluje kod i zwraca błędy oraz nierozwiązane cele, czyli części dowodu, które wciąż trzeba wykazać. Model może też przeszukiwać bibliotekę matematyczną Mathlib, sprawdzać definicje i testować fragmenty dowodu. Po odrzuconym zgłoszeniu komponent refleksji porządkuje dotychczasowe postępy i informację zwrotną, by model mógł podjąć kolejną próbę. h1 nie narzuca z góry podziału dowodu ani określonej strategii wyszukiwania.

Samo skompilowanie pliku nie wystarcza do przyjęcia dowodu. SafeVerify porównuje zgłoszenie z niezmienioną treścią zadania, sprawdza wymagane deklaracje i dozwolone aksjomaty, a następnie Lean odtwarza zaakceptowane deklaracje w swoim jądrze, czyli podstawowym mechanizmie sprawdzającym poprawność dowodów.

Wyniki zależą od modelu i benchmarku

Autorzy podają osobne wyniki dla konkretnych modeli i zestawów zadań. Nie tworzą one jednego wspólnego wskaźnika zdolności matematycznych.

• GPT-5.5: 670 z 672 zadań w PutnamBench. Autorzy podali po jednej próbie na problem, bez powtórzeń i równoległych uruchomień.
• GPT-5.6 Sol: 90 ze 100 zadań FATE-X, 78 ze 100 zadań FC100-solved, 14 z 23 twierdzeń FormalQualBench oraz 6 z 6 zadań IMO 2026. FATE-X obejmuje zadania algebraiczne na poziomie co najmniej egzaminu kwalifikacyjnego na studia doktoranckie.

Autorzy wymieniają też osiem rozwiązanych celów z Formal Conjectures, wybranych spośród 236 uznanych w tej ewaluacji za otwarte. Były to warianty problemów Erdősa 138 i 337, zagadnienia OEIS A108081, A211417 i A022030, Open Quantum Problem 35 oraz Written on the Wall II Conjectures 100 i 314. Te dwa ostatnie wyniki uzyskano po poprawieniu formalnych zapisów twierdzeń.

Co porównanie z AlphaProof Nexus mówi o kosztach

Najbardziej nagłośnione zestawienie dotyczy pięciu problemów Erdősa, na których każdy z trzech porównywanych systemów uzyskał co najmniej jedno rozwiązanie. W tym porównaniu użyto Gemini 3.1 Pro. Pass@1 oznacza tu odsetek problemów rozwiązanych przy jednej próbie.

Wartości kosztów nie są pełnymi wydatkami na wszystkie próby ani cenami produktów. W przypadku h1 średni wydatek dla pass@1 na tym samym zestawie, po uwzględnieniu nieudanych grup, wyniósł 138 USD. Przy pass@3, czyli do trzech prób, średni wydatek wyniósł 202 USD, aby osiągnąć co najmniej 82,5%. Autorzy wyliczyli te kwoty jako równoważne koszty API na podstawie zużycia tokenów i referencyjnych stawek; wartości dla DeepSeek V4 Flash są rekonstrukcjami.

Dla wszystkich sześciu problemów Erdősa wynik pass@1 wygląda inaczej: autorzy podają 68,75% dla h1 i 71,67% dla pełnego AlphaProof Nexus. Erdős 125 nie znalazł się w pięcioproblemowym zestawieniu: wszystkie 16 replik h1 zakończyło się przekroczeniem limitu czasu w Lean REPL. Pięcioproblemowy wynik i koszty nie opisują więc całego sześcioproblemowego zestawu.

Co potwierdza formalnie sprawdzony dowód

Mechaniczne sprawdzenie potwierdza, że dowód wynika z formalnie zapisanego twierdzenia przy użytych definicjach i aksjomatach. Nie rozstrzyga samo w sobie, czy formalizacja wiernie oddaje zamierzoną treść nieformalnego przypuszczenia matematycznego. Właśnie dlatego poprawki w formalnych zapisach Written on the Wall II Conjectures 100 i 314 mają znaczenie przy interpretacji dwóch z ośmiu wyników Formal Conjectures.