Le benchmark MKA évalue des agents d’IA sur des tâches professionnelles qui exigent de recouper des informations dans des fichiers visuellement complexes, puis de produire un livrable. Gemini 4 Carbon arrive deuxième dans la comparaison publiée, mais l’analyse statistique ne distingue pas les trois premiers sur le score Climb-WSR. Google DeepMind a annoncé le benchmark avec Artificial Analysis le 10 novembre 2026 (annonce de Google DeepMind).
Ce que mesure le benchmark MKA
MKA porte sur du travail professionnel en plusieurs étapes, et non sur une simple question posée à partir d’une image. Une tâche peut réunir de 2 à 45 fichiers, comme des plans, des schémas ou des cartes. Dans l’ensemble privé, les 200 tâches couvrent 10 secteurs — 20 tâches par secteur — et 83 métiers. Pour 176 tâches, l’agent doit créer ou modifier un fichier autonome ; les 24 autres appellent une réponse textuelle.
Une autre série de 10 tâches, distincte de l’évaluation privée, est publique. Artificial Analysis exploite une implémentation publique de l’évaluation avec Stirrup, le cadre utilisé pour exécuter les agents.
Comment interpréter les scores
Le score Climb-WSR correspond à la part pondérée des critères les plus difficiles satisfaits pour chaque tâche, puis à la moyenne de ces résultats. Il porte donc sur des critères accomplis, pas sur le nombre de tâches entièrement réussies. Dans son rapport technique, Google DeepMind indique aussi que les critères sont évalués par un correcteur automatisé.
Lors d’une étude portant sur 50 tâches dans neuf secteurs, ce correcteur a atteint 96,2 % d’accord pair à pair avec des évaluateurs humains sur les critères. L’intervalle de confiance à 95 % s’étend de 94,7 à 97,6 %. Ce chiffre décrit la concordance entre évaluateurs dans cette étude.
Les résultats ne départagent pas les trois premiers
Le classement donne le score Climb-WSR le plus élevé à Claude Fable 5.2, suivi de Gemini 4 Carbon et de Claude Opus 5.5. Mais les écarts observés ne suffisent pas à établir une différence statistiquement significative entre ces trois modèles dans l’analyse par tâches du rapport.
| Modèle | Climb-WSR | Overall WSR | Tours moyens par tâche | Durée moyenne par tâche | Coût API moyen par tâche |
| Claude Fable 5.2 | 56,56 % | 73,26 % | 128,8 | 83,2 min | 35,28 $ US |
| Gemini 4 Carbon | 54,34 % | 71,89 % | 46,6 | 29,2 min | 5,63 $ US |
| Claude Opus 5.5 | 53,01 % | 70,98 % | 91,4 | 33,8 min | 10,29 $ US |
| GPT-6 Astra | 50,24 % | 69,34 % | 29,0 | 18,5 min | 6,03 $ US |
Ces chiffres proviennent de la comparaison publiée par Google DeepMind. Les coûts sont des moyennes par tâche calculées aux tarifs API publics des fournisseurs, avec la tarification de lecture et d’écriture du cache de prompt incluse. Ils décrivent cette charge de travail et ces hypothèses de prix.
Pour comparer des agents sur MKA, regardez les critères satisfaits et les conditions d’exécution : la place au classement ne suffit pas à départager les trois premiers.
L’accès aux images a compté pour Gemini 4 Carbon
Dans une expérience consacrée à Gemini 4 Carbon, le rapport a retiré l’outil view_image tout en laissant disponibles, entre autres, l’OCR, la recherche Web et l’exécution de code. Le score Climb-WSR a baissé de 5,94 points de pourcentage et l’Overall WSR de 4,58 points. Le nombre de tours a atteint 1,28 fois celui du test avec accès aux images ; les jetons d’entrée, 1,85 fois, et ceux de sortie, 1,40 fois. Ces résultats concernent Carbon dans cette configuration MKA.
Chaque modèle de la comparaison a été exécuté une fois par tâche. Les résultats décrivent donc les essais réalisés dans ce cadre ; ils ne mesurent pas la variabilité entre plusieurs exécutions d’une même tâche. La série publique de 10 tâches reste distincte de l’évaluation privée de 200 tâches.