IA h1: o que os testes de prova formal mostram

h1 é uma estrutura que permite a um modelo de linguagem desenvolver provas matemáticas em Lean 4, recebendo retorno do compilador e de ferramentas de validação. Os autores relatam bons resultados em vários benchmarks, mas cada número corresponde a um modelo e a um conjunto de problemas específicos. A comparação de custos com AlphaProof Nexus, por exemplo, cobre cinco problemas de Erdős e usa valores condicionados ao sucesso. (artigo dos autores no arXiv)

Como h1 trabalha com Lean 4

Lean 4 é um assistente de provas: o sistema verifica código formal que representa uma demonstração matemática. Em h1, o modelo edita um arquivo persistente com a prova. A cada alteração, o compilador retorna erros e objetivos ainda pendentes; o modelo pode então revisar o trabalho e usar ferramentas como busca na biblioteca Mathlib, testes no ambiente Lean e consulta de informações do código.

Os autores descrevem um ciclo sem um plano de decomposição ou uma árvore de busca prescritos. Se uma submissão é rejeitada, um modelo de reflexão resume o progresso e o retorno do verificador para orientar outra tentativa. O processo continua até a validação ou até o fim do orçamento de inferência definido para a execução.

Compilar não basta para aprovar uma demonstração. A validação SafeVerify compara o arquivo com o enunciado original, verifica as declarações-alvo e os axiomas permitidos e reproduz as declarações no kernel do Lean, o componente que confere as provas formais.

O que os resultados dos benchmarks medem

Os resultados são específicos de cada conjunto e modelo, não uma nota única para a capacidade matemática da IA. Com GPT-5.5, os autores relatam que h1 resolveu 670 dos 672 problemas do PutnamBench, com uma execução por problema, sem repetição nem paralelismo.

Com GPT-5.6 Sol, h1 resolveu 90 de 100 problemas do FATE-X, 78 de 100 do FC100-solved, 14 de 23 teoremas do FormalQualBench e os seis problemas do IMO 2026. O FATE-X reúne problemas de álgebra de nível de exame de qualificação de doutorado ou superior. Como os benchmarks e seus denominadores diferem, esses resultados devem ser lidos separadamente.

Os autores também relatam oito alvos resolvidos entre 236 que trataram como abertos no Formal Conjectures. Entre eles estão variantes dos problemas de Erdős 138 e 337, três entradas da OEIS, o Open Quantum Problem 35 e duas conjecturas de Written on the Wall II. Estas últimas foram provadas depois de correções nos respectivos enunciados formalizados.

O que a comparação com AlphaProof Nexus inclui

A taxa pass@1 indica o desempenho com uma tentativa por problema. Na comparação destacada, h1 e AlphaProof Nexus foram avaliados com Gemini 3.1 Pro em cinco problemas de Erdős que todos os sistemas comparados resolveram ao menos uma vez. A tabela reúne as taxas e os custos médios por prova bem-sucedida, condicionados ao sucesso.

Erdős 125 ficou fora desse recorte: as 16 réplicas de h1 terminaram em timeouts no Lean REPL. Na mesma seleção de cinco problemas, o gasto médio de h1 no pass@1, incluindo falhas, foi de US$ 138. Para atingir pelo menos 82,5% com pass@3, a média reportada foi de US$ 202, também incluindo grupos sem sucesso.

O recorte de seis problemas produz outra comparação: o artigo relata pass@1 de 68,75% para h1 e 71,67% para AlphaProof Nexus completo; h1 alcançou 79,73% em pass@3. Os valores em dólares são estimativas experimentais equivalentes a custos de API, calculadas a partir do uso de tokens e de tarifas de referência. Não são preços de produto nem custos universais.

O que uma prova formalmente verificada demonstra

Uma validação bem-sucedida sustenta que a prova formal deriva o enunciado codificado sob as regras e os axiomas permitidos. Ela não garante, por si só, que esse enunciado represente fielmente a conjectura informal que alguém pretendia formular. As correções feitas nos dois enunciados de Written on the Wall II ilustram por que essa correspondência exige análise matemática além da checagem mecânica.