W wersji 1 pracy TCSExam datowanej na 5 listopada 2026 r. autorzy podają, że GPT-6 Astra ukończyła 14 z 20 zadań z twierdzeniami Lean 4, przedstawiając pełne dowody zaakceptowane przez system. Wśród 30 otwartych hipotez Astra nie uzyskała żadnego zaakceptowanego pełnego rozwiązania. Ten drugi wynik dotyczy Astry, nie wszystkich agentów ocenianych w benchmarku (praca TCSExam).
NeoTeo opisywało już wyniki GPT-6 Astra w ARC-AGI-3. TCSExam sprawdza inne zadania: dowodzenie twierdzeń, inżynierię solverów, konstrukcje matematyczne i próby dotyczące otwartych hipotez.
Co oznacza wynik 14 z 20 zadań Lean
W TCSExam-Full każda z 20 zadań twierdzeniowych wymagała dowodu w Lean 4, bez dostarczonych lematów pośrednich. Lean 4 to asystent dowodzenia, który sprawdza kompletny dowód według formalnych reguł. Niepełne rozwiązanie nie zaliczało zadania. Wynik 14 z 20 oznacza więc, że system zaakceptował 14 pełnych dowodów w tym zestawie; nie jest to ogólna miara skuteczności Astry w matematyce ani we wszystkich zadaniach Lean.
70,0% oznacza 14 zaliczonych zadań przy jednej próbie na każde, a nie uniwersalną skuteczność w Lean.
Jak skonfigurowano test
Autorzy oceniali agenta GPT-6 Astra działającego z Codex 0.154.0, przy maksymalnym poziomie wysiłku i jednej próbie na zadanie. Na każdą próbę przypadało do 12 godzin pracy. Ogólny dostęp do Internetu był wyłączony podczas zadań twierdzeniowych i solverowych; w zadaniach konstrukcyjnych i dotyczących otwartych hipotez był dozwolony.
TCSExam-Full obejmował 100 zadań: 20 twierdzeń Lean 4, 30 zadań inżynierii solverów, 20 konstrukcji matematycznych i 30 otwartych hipotez. Wynik 70,0% należy zatem czytać w kontekście konkretnego zestawu, narzędzi i protokołu prób.
Dlaczego indeks 71,9 nie jest wynikiem Lean
Indeks Full łączy wyniki czterech torów: twierdzeń, solverów, konstrukcji i otwartych hipotez. Dokumentacja TCSExam opisuje go jako ważoną sumę: 30% wyniku twierdzeniowego, 30% solverowego, 30% konstrukcyjnego i 10% wyniku dla hipotez (zasady punktacji TCSExam).
| Obszar TCSExam-Full | Wynik GPT-6 Astra | Co mierzy |
| Twierdzenia Lean 4 | 70,0% (14/20) | Zadania zakończone pełnym, zaakceptowanym dowodem |
| Inżynieria solverów | 64,7% | Wynik względny w torze solverów, liczony względem Kimi K3 |
| Konstrukcje matematyczne | 104,9% | Nagroda za zadania konstrukcyjne; wynik może przekroczyć 100%, gdy rezultat przewyższa wartość referencyjną |
| Otwarte hipotezy | 0,0% (0/30) | Zaakceptowane pełne rozwiązania |
Po zastosowaniu wag wyniki dają 71,88, zaokrąglone do 71,9 punktu. To indeks całego TCSExam-Full, a nie ocena samych dowodów Lean.
Astra nie była jedynym agentem z zerowym wynikiem dla hipotez
Wśród 30 otwartych hipotez Astra nie miała zaakceptowanego pełnego rozwiązania, ale praca odnotowuje zaakceptowane zgłoszenia innych agentów. Kimi K3.1 Pro uzyskał akceptację dla Rysera w 1 z 3 prób. DeepSeek V4.1 Flash 1017 uzyskał ją dla Rysera w 2 z 3 prób, a dla MIRUP w 3 z 3. Autorzy podają, że te zgłoszenia adaptowały wcześniej opublikowane wyniki OpenAI.
Wyniki TCSExam-Lite dotyczą innego zestawu
W TCSExam-Lite Claude Opus 5.5 uzyskał indeks 72,3, a GPT-6 Astra 67,0. Lite obejmował 20 zadań, po pięć z każdego z czterech torów; Claude Opus 5.5 oceniano wyłącznie w Lite. Te wyniki nie są zestawieniem agentów w TCSExam-Full.
