Google DeepMind kondigde de MKA-benchmark op 10 november 2026 samen met Artificial Analysis aan. MKA test AI-agenten op meerstapswerk met visueel complexe bestanden: Gemini 4 Carbon eindigde in het rapport op de tweede plaats, maar de statistische analyse onderscheidde de drie hoogste modellen niet op Climb-WSR.
Bij een AI-benchmark zegt de betekenis van de score minstens zoveel als de plek op het leaderboard.
MKA test werk met meerdere bestanden
De Multimodal Knowledge Agent-benchmark, kortweg MKA, beoordeelt of een AI-agent informatie uit verschillende bestanden kan combineren en daarmee een bruikbaar werkproduct kan maken. Het gaat dus om meer dan een antwoord op één vraag over één afbeelding. Denk aan tekeningen, schema’s, kaarten en grafieken die samen nodig zijn voor een beroepsmatige taak. Google DeepMind kondigde de benchmark aan; de technische rapportage over MKA beschrijft de opzet en resultaten.
De besloten evaluatie omvat 200 taken, verdeeld over 10 sectoren en 83 beroepen. Een taak gebruikt tussen de 2 en 45 invoerbestanden; in totaal zijn dat 1.459 bestanden. Bij 176 taken moet de agent een zelfstandig bestand maken of aanpassen. De overige taken worden rechtstreeks in tekst beantwoord.
De volledige evaluatieset is niet openbaar. Wel is er een aparte, niet-overlappende showcase met 10 taken, openbaar beschikbaar op Hugging Face. Die set is een inkijkje in de taaksoort, niet dezelfde dataset als de 200 taken waarop de modelvergelijking is gebaseerd.
Wat Climb-WSR en de beoordelaar meten
Climb-WSR is het gemiddelde gewogen aandeel behaalde criteria per taak binnen de moeilijkere Climb-subset. De criteria zijn beoordelingspunten uit de rubric, elk met een gewicht. Een score van 54,34% betekent dus niet dat een model 54,34% van de taken volledig heeft afgerond.
De technische rapportage vermeldt ook 96,2% overeenstemming tussen de automatische beoordelaar en menselijke beoordelaars. Dat percentage meet overeenstemming per beoordelingscriterium in een studie van 50 taken uit negen sectoren. Het is geen nauwkeurigheidsscore voor de hele benchmark. Het 95%-betrouwbaarheidsinterval liep van 94,7% tot 97,6%; de gewogen Cohen’s κ was 0,911.
De rangorde is geen duidelijke kwaliteitswinst
In de viermodellenvergelijking behaalde Claude Fable 5.2 de hoogste Climb-WSR, gevolgd door Gemini 4 Carbon en Claude Opus 5.5. De gepaarde analyse per taak vond geen statistisch significant verschil tussen de drie hoogste modellen. Voor het verschil tussen Fable 5.2 en Carbon liep het 95%-betrouwbaarheidsinterval van −0,94 tot +5,49 procentpunt.
| Model | Climb-WSR | Overall WSR | Gemiddeld aantal beurten per taak | Gemiddelde API-kosten per taak (US$) |
| Claude Fable 5.2 | 56,56% | 73,26% | 128,8 | 35,28 |
| Gemini 4 Carbon | 54,34% | 71,89% | 46,6 | 5,63 |
| Claude Opus 5.5 | 53,01% | 70,98% | 91,4 | 10,29 |
| GPT-6 Astra | 50,24% | 69,34% | 29,0 | 6,03 |
De API-kosten zijn gemiddelde bedragen per taak, berekend met de lijstprijzen van de aanbieders en inclusief de tarieven voor het lezen en schrijven van promptcache. Ze horen bij deze benchmarktaken en zijn geen algemene kosten per gebruikssessie. De kosten en scores komen uit de technische rapportage van Google DeepMind.
Beeldtoegang maakte verschil voor Gemini 4 Carbon
In een afzonderlijke proef met Gemini 4 Carbon daalde Climb-WSR met 5,94 procentpunt toen de tool view_image werd uitgeschakeld. Ook Overall WSR daalde, met 4,58 procentpunt. De agent kon nog wel code uitvoeren, op het web zoeken en bestanden verwerken met parsing, OCR en computervisie. Zonder de beeldtool gebruikte het model 1,85 keer zoveel invoertokens, 1,40 keer zoveel uitvoertokens en 1,28 keer zoveel beurten als met beeldtoegang.
Deze resultaten gelden voor Gemini 4 Carbon in de beschreven MKA-opzet. De vier modellen uit de hoofdvergelijking zijn elk één keer per taak uitgevoerd, waardoor de rangorde geen variatie tussen herhaalde runs laat zien.