MKA (Multimodal Knowledge Agent) sprawdza, jak agenci AI radzą sobie z wieloetapową pracą zawodową: muszą połączyć informacje z wielu plików, często zawierających plany, schematy lub wykresy, a następnie przygotować gotowy materiał. Google DeepMind ogłosiło benchmark wspólnie z Artificial Analysis 10 listopada 2026 r. w komunikacie. Raport z ewaluacji umieścił Gemini 4 Carbon na drugim miejscu pod względem Climb-WSR, ale różnica między trzema najlepszymi wynikami nie była statystycznie istotna.

Pozycję modelu w rankingu warto oceniać razem z definicją wyniku, analizą statystyczną i kosztem wykonania zadania.

MKA sprawdza pracę na wielu plikach

Prywatna ewaluacja obejmuje 200 zadań z 10 sektorów i 83 zawodów; w każdym sektorze znalazło się 20 zadań. Każde wymagało analizy od 2 do 45 plików. W sumie było ich 1459, średnio 7,3 na zadanie. W 176 przypadkach agent musiał utworzyć lub zmodyfikować osobny plik, na przykład dokument, arkusz, prezentację, obraz albo aplikację internetową. Pozostałe zadania wymagały odpowiedzi tekstowej.

To więcej niż test pojedynczego pytania o obraz: agent ma zebrać informacje z rozmaitych materiałów i dostarczyć użyteczny rezultat. Przykładowe dziedziny obejmują architekturę, analizę geograficzną i inżynierię. Pełny zestaw 200 zadań jest prywatny; osobno przygotowano publiczny, rozłączny zestaw 10 zadań pokazowych.

Co oznacza wynik Climb-WSR

Climb-WSR to średni, ważony udział spełnionych kryteriów z trudniejszej części rubryki, liczony dla zadań. 54,34% Gemini 4 Carbon nie oznacza więc, że model ukończył 54,34% zadań. Wynik opisuje, jaką część punktowanych wymagań model spełniał przeciętnie. Kryteria Climb wybrano jako te, których wcześniej testowane modele nie zaliczały konsekwentnie.

Rubryki obejmowały łącznie 14 284 eksperckie kryteria, od 20 do 150 na zadanie; każde miało wagę od 1 do 5. Raport Google DeepMind definiuje sposób obliczania wyniku i opisuje walidację automatycznego oceniającego w raporcie technicznym.

Podawane obok wyniku 96,2% dotyczy czegoś innego: to zgodność ocen automatycznych i ludzkich na poziomie poszczególnych kryteriów w badaniu 50 zadań z dziewięciu sektorów. Przedział ufności wyniósł 94,7–97,6%, a ważona kappa Cohena 0,911. Ten pomiar zgodności nie jest odsetkiem poprawnie wykonanych zadań.

Jak wypadają modele w raporcie

W czteromodelowym porównaniu Claude Fable 5.2 uzyskał najwyższy Climb-WSR, a Gemini 4 Carbon — drugi wynik. Raport podaje jednak, że trzy czołowe modele nie różniły się statystycznie istotnie w analizie par wyników z poszczególnych zadań. Dla różnicy między Fable 5.2 a Carbonem przedział ufności 95% obejmował wartości od −0,94 do +5,49 punktu procentowego.

ModelClimb-WSROverall WSRŚrednia liczba tur na zadanieŚredni czas na zadanieŚredni koszt API na zadanie
Claude Fable 5.256,56%73,26%128,883,2 min35,28 USD
Gemini 4 Carbon54,34%71,89%46,629,2 min5,63 USD
Claude Opus 5.553,01%70,98%91,433,8 min10,29 USD
GPT-6 Astra50,24%69,34%29,018,5 min6,03 USD

Modele działały w tym samym środowisku Stirrup v0.2.1, z jednakowymi instrukcjami, narzędziami i limitami; zadanie mogło trwać najwyżej osiem godzin lub obejmować 250 tur. Każdy model uruchomiono raz dla każdego zadania. Koszty w tabeli to średnie wydatki na API według cenników dostawców, z uwzględnieniem odczytu i zapisu pamięci podręcznej promptów. To osobna miara od jakości: niższy koszt Gemini 4 Carbon w tym teście nie rozstrzyga o przewadze jakościowej. Wartości i warunki porównania podaje raport Google DeepMind.

Co zmieniło odebranie dostępu do obrazów

W osobnym teście Gemini 4 Carbon nie mogło korzystać z narzędzia view_image, ale nadal miało dostęp między innymi do uruchamiania kodu, wyszukiwania w sieci, parsowania plików, OCR i bibliotek widzenia komputerowego. W tych warunkach Climb-WSR spadł o 5,94 punktu procentowego, a Overall WSR o 4,58 punktu. Wzrosło też zużycie zasobów: liczba tokenów wejściowych osiągnęła 1,85-krotność wartości z dostępem do obrazów, tokenów wyjściowych — 1,40-krotność, a liczba tur — 1,28-krotność. To wynik dotyczący Gemini 4 Carbon i konfiguracji testu MKA opisanej w raporcie technicznym.

Publiczny zestaw 10 zadań jest odrębny od prywatnej ewaluacji, a każdy z czterech modeli w porównaniu uruchomiono tylko raz na zadanie.