In TCSExam-Full, GPT-6 Astra ha completato 14 dei 20 compiti di teoremi Lean 4 e non ha ottenuto risoluzioni complete accettate per nessuna delle 30 congetture aperte. Il risultato sui teoremi è del 70,0%; l’indice complessivo Full è invece 71,9 e combina quattro aree diverse, non soltanto Lean. Gli autori riportano questi dati nel paper TCSExam, datato 5 novembre 2026.
Per confrontare valutazioni diverse di Astra, la precedente analisi di NeoTeo su ARC-AGI-3 tratta un benchmark distinto da TCSExam.
Che cosa misura il 70% in Lean 4
I 20 compiti erano teoremi di ricerca formalizzati in Lean 4, senza lemmi intermedi forniti. Una prova contava come completata soltanto dopo aver superato i controlli formali; una dimostrazione incompleta riceveva zero in questa categoria. Il 70,0% indica quindi 14 prove complete accettate su quel gruppo di compiti.
Lean è un assistente per la dimostrazione formale: controlla una prova secondo regole matematiche codificate, invece di valutarla soltanto perché il testo sembra plausibile. Questo controllo rende verificabile l’accettazione di una dimostrazione, ma il risultato resta legato ai teoremi scelti e alle condizioni del test.
Le condizioni della valutazione
TCSExam-Full comprendeva 100 compiti: 20 teoremi, 30 problemi di progettazione di solver, 20 compiti di costruzione matematica e 30 congetture aperte da dimostrare o confutare. Per i teoremi, GPT-6 Astra è stato valutato con Codex 0.154.0, al massimo livello di impegno e con un tentativo per compito. Ogni tentativo prevedeva fino a 12 ore di sviluppo; l’accesso generale a Internet era disabilitato per questa categoria.
Il punteggio descrive dunque un agente configurato con un determinato harness, cioè l’ambiente e gli strumenti usati nella valutazione, e con quel protocollo di tentativi e risorse. Non è una misura ottenuta separando il modello dalle condizioni operative.
Perché l’indice Full è 71,9
Il punteggio Full combina le medie delle quattro categorie: attribuisce il 30% a teoremi, solver e costruzioni, e il 10% alle congetture aperte. La documentazione ufficiale del calcolo chiarisce perché il 71,9 complessivo non coincide con il 70,0% dei teoremi.
| Area TCSExam-Full | Risultato di GPT-6 Astra | Che cosa misura |
| Teoremi | 70,0% (14 su 20) | Prove Lean 4 complete e accettate |
| Solver | 64,7% | Punteggio relativo nella progettazione di solver |
| Costruzioni | 104,9% | Ricompensa nei compiti di costruzione matematica |
| Congetture aperte | 0,0% (0 su 30) | Risoluzioni complete accettate |
La ricompensa per le costruzioni può superare il 100% quando un risultato supera il riferimento previsto per il compito. Le quattro righe, quindi, non esprimono tutte lo stesso tipo di misura: il loro peso combinato produce l’indice 71,9.
Per interpretare un risultato di benchmark, controlla insieme il denominatore, il criterio di accettazione e la categoria: un indice aggregato non sostituisce il punteggio del singolo compito.
Le congetture aperte e gli altri agenti
Lo zero riguarda GPT-6 Astra: il sistema non ha avuto risoluzioni complete accettate tra le 30 congetture aperte di TCSExam-Full. Il paper registra invece invii accettati di altri agenti. Kimi K3.1 Pro ha ottenuto un risultato accettato su Ryser in uno dei tre tentativi; DeepSeek V4.1 Flash 1017 ne ha ottenuti due su tre per Ryser e tre su tre per MIRUP. Gli autori affermano che questi invii adattavano prove o controesempi di OpenAI già pubblicati.
Il confronto separato con TCSExam-Lite
TCSExam-Lite comprendeva 20 compiti, cinque per ciascuna delle quattro aree. In questa suite GPT-6 Astra ha ottenuto 67,0 punti e Claude Opus 5.5 72,3; Claude Opus 5.5 è stato valutato soltanto su Lite. Sono risultati riferiti a un insieme diverso da TCSExam-Full.
