Der MKA-Benchmark bewertet, wie KI-Agenten Informationen aus mehreren visuell komplexen Dateien zu einem professionellen Arbeitsergebnis verbinden. Google DeepMind und Artificial Analysis stellten ihn am 10. November 2026 vor. In der Auswertung lag Gemini 4 Carbon beim Climb-WSR auf Rang zwei; die statistische Analyse konnte die drei höchsten Werte nicht voneinander unterscheiden. (Ankündigung von Google DeepMind, technischer Bericht)
Ein Rangplatz beschreibt die Reihenfolge. Erst die statistische Analyse zeigt, wie belastbar der Abstand zwischen den Ergebnissen ist.
Was MKA den Agenten abverlangt
MKA prüft mehrstufige professionelle Arbeit, nicht bloß die Antwort auf eine einzelne Bildfrage. Ein Agent muss Informationen aus unterschiedlichen Dateien zusammenführen und daraus ein verwendbares Ergebnis erstellen, etwa eine bearbeitete Datei. Die Aufgaben reichen von 2 bis 45 Eingabedateien.
Der private Testsatz umfasst 200 Aufgaben aus zehn Wirtschaftssektoren und 83 Berufen. Insgesamt kommen darin 1.459 Dateien zum Einsatz; im Mittel sind es 7,3 pro Aufgabe. Bei 176 Aufgaben muss der Agent eine eigenständige Datei erstellen oder bearbeiten. Die übrigen 24 Aufgaben werden direkt in Text beantwortet.
Was Climb-WSR und die Rater-Übereinstimmung messen
Google DeepMind definiert Climb-WSR als den über die Aufgaben gemittelten, gewichteten Anteil erfüllter Kriterien aus einer schwierigeren Teilmenge des Bewertungsrasters. Für Gemini 4 Carbon bedeuten 54,34 Prozent also den durchschnittlichen Erfüllungsanteil dieser Kriterien, nicht einen Anteil vollständig erledigter Aufgaben.
Das Raster enthält insgesamt 14.284 Kriterien. Pro Aufgabe sind es im Durchschnitt 71,4; jedes Kriterium erhält eine Gewichtung von 1 bis 5. In einer separaten Studie mit 50 Aufgaben aus neun Sektoren stimmte der automatische Bewerter bei 96,2 Prozent der paarweisen Kriterienbewertungen mit menschlichen Fachprüfern überein. Das 95-Prozent-Konfidenzintervall lag bei 94,7 bis 97,6 Prozent; das gewichtete Cohen-Kappa betrug 0,911. Die Zahl beschreibt die Übereinstimmung bei Kriterienbewertungen.
Wie die vier Modelle abschnitten
Der technische Bericht vergleicht vier Modelle im selben Versuchsaufbau. Die Werte sind Mittelwerte pro Aufgabe; die API-Kosten beruhen auf den Listenpreisen der Anbieter und schließen die Preise für das Lesen und Schreiben im Prompt-Cache ein.
| Modell | Climb-WSR | Overall WSR | Durchläufe pro Aufgabe | Laufzeit pro Aufgabe | API-Kosten pro Aufgabe (US$) |
| Claude Fable 5.2 | 56,56 % | 73,26 % | 128,8 | 83,2 min | 35,28 |
| Gemini 4 Carbon | 54,34 % | 71,89 % | 46,6 | 29,2 min | 5,63 |
| Claude Opus 5.5 | 53,01 % | 70,98 % | 91,4 | 33,8 min | 10,29 |
| GPT-6 Astra | 50,24 % | 69,34 % | 29,0 | 18,5 min | 6,03 |
Zwischen Claude Fable 5.2 und Gemini 4 Carbon lagen 2,22 Prozentpunkte. Das 95-Prozent-Konfidenzintervall für diesen Unterschied reichte in der gepaarten Aufgabenanalyse von −0,94 bis +5,49 Prozentpunkten. Entsprechend waren die drei höchsten Climb-WSR-Werte statistisch nicht voneinander unterscheidbar. Die Rangfolge weist Carbon also Rang zwei zu, aber die Analyse belegt keinen eindeutigen Qualitätsabstand zu den beiden anderen Spitzenmodellen.
Die Kosten sind ein eigener Messwert: Der Bericht beziffert den mittleren API-Aufwand pro Aufgabe für Gemini 4 Carbon auf 5,63 US-Dollar und für Claude Fable 5.2 auf 35,28 US-Dollar. Jedes der vier Modelle wurde pro Aufgabe einmal ausgeführt. Die Ergebnisse beziehen sich damit auf diesen Aufgabenmix und Versuchsaufbau.
Was sich beim Wegfall des Bildzugriffs änderte
In einem separaten Versuch mit Gemini 4 Carbon entfernte Google DeepMind das Werkzeug view_image. Codeausführung, Websuche, Dateiverarbeitung, OCR und Computer-Vision-Bibliotheken blieben verfügbar. Unter diesen Bedingungen sank der Climb-WSR um 5,94 Prozentpunkte und der Overall WSR um 4,58 Prozentpunkte.
Auch der Ressourcenverbrauch veränderte sich: Ohne das Bildwerkzeug stiegen die Eingabetokens auf das 1,85-Fache, die Ausgabetokens auf das 1,40-Fache und die Zahl der Durchläufe auf das 1,28-Fache der Werte mit Bildzugriff. Das Ergebnis gilt für Gemini 4 Carbon im beschriebenen MKA-Versuch.
Der öffentliche Showcase ist ein eigener Testsatz
Der vollständige MKA-Satz mit 200 Aufgaben ist privat. Öffentlich zugänglich ist ein davon getrennter Showcase mit zehn Aufgaben; er ist nicht Teil der privaten Evaluation.