In TCSExam-Full voltooide GPT-6 Astra 14 van de 20 Lean 4-stellingentaken zonder aangeleverde tussenlemma’s. De auteurs rapporteerden geen enkele volledige, geaccepteerde oplossing van Astra voor de 30 open conjecturen. Die nul gold niet voor alle geteste agents: andere modellen leverden geaccepteerde inzendingen in die volgens de auteurs eerder gepubliceerde OpenAI-resultaten aanpasten. Het TCSExam-paper beschrijft de resultaten en het testprotocol.
Wat Astra’s resultaat van 14 uit 20 meet
De twintig taken bestonden uit onderzoekstellingen in Lean 4, een programmeertaal en bewijsassistent waarmee wiskundige bewijzen formeel worden vastgelegd en gecontroleerd. Astra kreeg de stellingen zonder aangeleverde tussenlemma’s. Alleen een volledig bewijs dat de formele controles doorstond, telde als geslaagd; een onvolledig bewijs kreeg voor deze taken nul.
De 14 geaccepteerde bewijzen komen neer op 70,0% van deze specifieke taakset. Dat percentage is geen algemene nauwkeurigheidsscore voor Lean: het beschrijft de uitkomst voor deze twintig stellingen en de gebruikte agentconfiguratie.
Hoe TCSExam Astra testte
De evaluatie gebruikte Codex 0.154.0 met maximale inspanning en één poging per taak. Per poging was maximaal twaalf uur ontwikkelingstijd beschikbaar. Algemene internettoegang was uitgeschakeld tijdens de stellingentaken.
Daarom beschrijft de uitslag een combinatie van model, hulpmiddelen en testvoorwaarden, niet een model dat los van die configuratie is beoordeeld. NeoTeo besprak Astra eerder aan de hand van ARC-AGI-3, een andere benchmark met een andere taaksoort.
Wat de Full-index van 71,9 samenvoegt
De score van 71,9 is de samengestelde Full-index, niet Astra’s Lean-score. TCSExam berekent die index uit de gemiddelde scores voor vier onderdelen: stellingen, solvertechniek, constructies en open conjecturen. De formule weegt die onderdelen als 30P + 30S + 30C + 10O. De afzonderlijke uitkomsten van Astra zijn:
| Onderdeel | Resultaat van Astra | Wat het meet |
| Stellingen | 70,0% (14/20) | Aandeel taken met een volledig geaccepteerd bewijs |
| Solvertechniek | 64,7% | Relatieve score voor solveropgaven |
| Constructies | 104,9% | Beloning voor constructieopgaven; die kan boven 100% uitkomen wanneer een referentie wordt overtroffen |
| Open conjecturen | 0/30 | Volledige, geaccepteerde oplossingen |
De onderdelen gebruiken dus verschillende maatstaven. De uitleg van de TCSExam-scoreberekening licht de samengestelde index toe.
De 70,0% meet geaccepteerde Lean-bewijzen; de 71,9 is de totaalscore over vier verschillende onderdelen.
Andere agents hadden wel geaccepteerde inzendingen
Voor Astra waren er geen geaccepteerde volledige oplossingen voor de dertig open conjecturen in TCSExam-Full. Bij andere agents registreerden de auteurs wel geaccepteerde inzendingen: Kimi K3.1 Pro voor Ryser in 1 van de 3 pogingen, en DeepSeek V4.1 Flash 1017 voor Ryser in 2 van de 3 pogingen en voor MIRUP in 3 van de 3 pogingen. Volgens de auteurs pasten die inzendingen eerder gepubliceerde bewijzen of tegenvoorbeelden van OpenAI aan. De resultaten maken het dus onjuist om Astra’s nul toe te schrijven aan alle agents.
TCSExam-Lite heeft een aparte uitslag
TCSExam-Lite bevat twintig taken, vijf per onderdeel. Op die suite scoorde Claude Opus 5.5 72,3 en GPT-6 Astra 67,0. Claude Opus 5.5 werd alleen op Lite beoordeeld. Die Lite-scores staan los van Astra’s Full-index van 71,9 en vormen geen vergelijking binnen TCSExam-Full.
