Raport Yahoo Finance: Gemini 4 Carbon blisko Claude Opus 5.5 w GDPx

W relacji opublikowanej 4 listopada Yahoo Finance podał, że Gemini 4 Carbon uzyskał w benchmarku GDPx wynik 10,9%, a Claude Opus 5.5 — 12%. Różnica wynosi 1,1 punktu procentowego. W tym samym zestawieniu koszt pojedynczego zadania GDPx przypisany Carbonowi był niższy niż koszt przypisany Opusowi 5.5.

Wyniki i koszty zadań GDPx

Yahoo Finance podał koszt Gemini 4 Carbon przy wprowadzającej cenie Google. Zestawienie tych kwot daje około 68,3% niższy koszt zadania dla Carbonu. Są to koszty pojedynczych zadań GDPx, a nie ogólne stawki API.

Co składa się na wynik GDPx

SemiAnalysis opisuje główny wynik jako pass@1, czyli ocenę opartą na pierwszej próbie rozwiązania, raportowaną w trzech próbach. Każda z 11 dziedzin ma taką samą wagę; gdy w danej dziedzinie uczestniczy kilku partnerów, ich wkład również jest ważony jednakowo. Zależnie od dziedziny zadanie oceniano binarnie albo częściowo.

GDPx obejmuje zadania agentowe z 11 obszarów. SemiAnalysis opracowało benchmark z udziałem 14 partnerów specjalistycznych; Yahoo Finance podał, że obejmuje on 206 zadań. Domyślny limit czasu na zadanie wynosił osiem godzin, choć niektóre zadania miały krótszy limit. Modele uruchamiano w ich natywnych środowiskach, gdy były dostępne.

Wynik jest więc zagregowaną oceną konkretnych zadań i warunków GDPx. Nie opisuje skuteczności modeli we wszystkich zastosowaniach.

Liderzy różnią się między dziedzinami

Według SemiAnalysis Claude Opus 5.5 prowadził w handlu ilościowym, projektowaniu sprzętu i projektowaniu układów scalonych. Gemini 4 Carbon osiągnął najlepszy wynik w biologii i nieznacznie wyprzedził pozostałe modele w inżynierii oprogramowania. GPT-6 Astra prowadził w rekurencyjnym samodoskonaleniu i materiałoznawstwie.

Rozkład wyników pokazuje, że pozycja modelu zależy od dziedziny ocenianej przez GDPx. SemiAnalysis zaznaczyło również, że klasyfikatory bezpieczeństwa obniżały niektóre wyniki Claude Opus 5.5 i GPT-6 Astra.