I test di h1 sull’IA che dimostra teoremi in Lean 4

h1 è un harness che fa lavorare un modello linguistico su dimostrazioni formali in Lean 4. Nel loro studio, gli autori riportano 670 problemi risolti su 672 in PutnamBench con GPT-5.5 e risultati distinti su altri benchmark: ogni punteggio dipende dal modello e dal test considerato (paper degli autori).

Come h1 lavora con Lean 4

h1 non è un modello linguistico autonomo: è l’ambiente che permette al modello di costruire e correggere una dimostrazione in Lean 4, un assistente di prova formale. Il modello lavora su un file persistente, usa strumenti per cercare risultati nella libreria matematica Mathlib e riceve dal compilatore errori e obiettivi ancora da dimostrare. Dopo un tentativo respinto, un passaggio di riflessione riassume i progressi e il feedback per il ciclo successivo. Gli autori non impongono una strategia prestabilita per scomporre il problema o cercare la prova.

La compilazione da sola non basta a convalidare il risultato. Nel procedimento descritto, SafeVerify confronta il file con l’enunciato originale, controlla le dichiarazioni richieste e gli assiomi consentiti, quindi sottopone le dichiarazioni accettate al kernel di Lean, il componente che verifica i passaggi formali. Il ciclo prosegue finché la validazione riesce o termina il budget di inferenza.

Che cosa misurano i benchmark

I risultati riguardano test e configurazioni diversi, non un punteggio unico della capacità matematica di h1. Con GPT-5.5, gli autori riportano 670 soluzioni su 672 problemi di PutnamBench, con un tentativo per problema e senza ripetizioni o tentativi in parallelo.

Con GPT-5.6 Sol, riportano 90 soluzioni su 100 problemi di FATE-X, un benchmark di algebra di livello pari o superiore agli esami di qualificazione dottorale; 78 su 100 in FC100-solved; 14 su 23 teoremi in FormalQualBench; e 6 su 6 problemi di IMO 2026. Sono risultati di prove distinte, con denominatori diversi.

Gli autori riportano inoltre otto obiettivi di Formal Conjectures risolti, scelti fra 236 considerati aperti nella valutazione: varianti di Erdős 138 e 337, OEIS A108081, A211417 e A022030, Open Quantum Problem 35 e le congetture 100 e 314 di Written on the Wall II. Per queste ultime due, gli enunciati formalizzati sono stati corretti prima della dimostrazione.

Il confronto con AlphaProof Nexus riguarda cinque problemi

Il confronto evidenziato sui costi considera cinque problemi di Erdős e Gemini 3.1 Pro. La percentuale pass@1 indica la quota di problemi risolti al primo tentativo. I costi medi riportati sono condizionati al successo, quindi non includono i gruppi di tentativi falliti.

La cifra di AlphaProof Nexus non comprende il costo d’inferenza di AlphaProof, uno dei componenti del sistema completo. Inoltre, il quinto problema non è Erdős 125: tutte le 16 repliche di h1 su quel problema sono terminate con un timeout del Lean REPL.

Includendo i fallimenti, per lo stesso gruppo di cinque problemi gli autori riportano una spesa media di 138 USD per h1 a pass@1. Con pass@3, cioè considerando fino a tre tentativi, la spesa media riportata è di 202 USD per raggiungere almeno l’82,5%. Sono stime sperimentali equivalenti a costi API, calcolate dall’uso di token e da tariffe di riferimento, non prezzi di un prodotto.

Estendendo il confronto a tutti e sei i problemi di Erdős, i risultati pass@1 riportati sono 68,75% per h1 e 71,67% per AlphaProof Nexus completo. Queste percentuali hanno un perimetro diverso dalla frontiera di cinque problemi e dai relativi costi condizionati al successo.

Che cosa certifica una prova formale

Una verifica riuscita certifica che la dimostrazione rispetta l’enunciato formalizzato e le regole dell’ambiente Lean. Non stabilisce da sola che quell’enunciato rappresenti fedelmente la congettura matematica informale che si voleva esprimere. Le correzioni apportate ai due enunciati di Written on the Wall II mostrano perché la formulazione da verificare conta quanto il controllo della prova.