No TCSExam-Full, GPT-6 Astra concluiu 14 de 20 tarefas de teoremas em Lean 4, ou 70%. Também teve zero resoluções completas aceitas entre as 30 conjecturas abertas do conjunto. Esses resultados se referem a trilhas diferentes: outros agentes tiveram envios aceitos para conjecturas, mas os autores do benchmark dizem que eles adaptaram resultados da OpenAI já publicados. O artigo do TCSExam detalha os resultados e as condições da avaliação.
O que significa concluir 14 de 20 teoremas
As 20 tarefas de teoremas do TCSExam-Full foram formuladas em Lean 4, uma linguagem e assistente de provas que permite verificar matematicamente se uma demonstração está completa. Na avaliação principal, as tarefas eram apresentadas sem lemas intermediários, isto é, sem resultados auxiliares fornecidos para facilitar a prova. Uma tentativa só contava como concluída se passasse pelas verificações formais; provas incompletas recebiam zero nessa trilha.
O resultado de 14 em 20 equivale a 70% de sucesso nesse conjunto de tarefas. Não é uma taxa geral de acerto em Lean: o número descreve apenas esses 20 teoremas e o protocolo usado no benchmark.
Como o benchmark avaliou Astra
O TCSExam-Full reúne 100 tarefas: 20 de teoremas em Lean 4, 30 de engenharia de solvers, 20 de construção matemática e 30 de conjecturas abertas, que podem ser provadas ou refutadas. Para GPT-6 Astra, a avaliação usou o harness Codex 0.154.0, com esforço máximo e uma tentativa por tarefa. Cada tentativa podia receber até 12 horas de desenvolvimento.
O acesso geral à Internet foi desativado nas tarefas de teoremas e de solver, mas permitido nas de construção e de conjecturas. Assim, os resultados descrevem um agente configurado com ferramentas, orçamento e regras de acesso definidos, e não uma capacidade do modelo isolada dessas condições.
O que o índice Full de 71,9 reúne
A nota 71,9 é o índice agregado do GPT-6 Astra no TCSExam-Full, não sua pontuação exclusiva em Lean. O cálculo combina quatro trilhas, com pesos de 30% para teoremas, 30% para solver, 30% para construções e 10% para conjecturas abertas. A documentação do cálculo oficial do índice descreve essa composição.
| Trilha do TCSExam-Full | Resultado de GPT-6 Astra | O que mede |
| Teoremas | 70,0% | Tarefas com provas completas aceitas: 14 de 20 |
| Solver | 64,7% | Pontuação relativa na trilha de engenharia de solvers |
| Construções | 104,9% | Recompensa de construção, que pode superar a referência da tarefa |
| Conjecturas abertas | 0,0% | Resoluções completas aceitas entre 30 tarefas |
As porcentagens da tabela não representam uma única medida: cada trilha tem seu próprio critério. Em particular, a recompensa de construção pode passar de 100% quando o resultado supera a referência da tarefa. Por isso, o índice combinado não deve ser lido como uma taxa de provas em Lean.
Para entender o placar, mantenha separados o resultado em provas formais, as demais trilhas e o índice agregado. Cada número responde a uma pergunta diferente.
Astra teve zero resoluções aceitas nas conjecturas, mas outros agentes tiveram envios aceitos
O resultado de GPT-6 Astra foi zero entre as 30 conjecturas abertas do TCSExam-Full. Isso não foi o resultado de todos os agentes avaliados. O artigo registra que Kimi K3.1 Pro teve um envio aceito para Ryser em três tentativas; DeepSeek V4.1 Flash 1017 teve dois envios aceitos para Ryser em três tentativas e três para MIRUP em três. O projeto TCSExam também apresenta esses resultados.
Os autores dizem que os envios aceitos adaptaram provas ou contraexemplos da OpenAI que já haviam sido publicados. Esse detalhe importa para interpretar o resultado: as submissões foram aceitas no benchmark, mas não são apresentadas pelos autores como descobertas independentes dessas soluções.
O que a comparação com TCSExam-Lite acrescenta
No conjunto menor TCSExam-Lite, com 20 tarefas e cinco por trilha, Claude Opus 5.5 marcou 72,3 no índice, enquanto GPT-6 Astra marcou 67,0. Claude Opus 5.5 foi avaliado apenas no Lite. Como Full e Lite contêm conjuntos distintos de tarefas, esse resultado não é uma classificação conjunta entre os modelos na avaliação Full.
