El benchmark MKA evalúa agentes de IA que combinan información de archivos visualmente complejos para completar tareas profesionales. Google DeepMind y Artificial Analysis lo anunciaron el 10 de noviembre de 2026; el informe técnico sitúa a Gemini 4 Carbon en segundo lugar en Climb-WSR, pero no encuentra diferencias estadísticamente significativas entre los tres modelos mejor puntuados.
Qué evalúa el benchmark MKA
MKA, sigla de Multimodal Knowledge Agent, mide trabajo de varios pasos con documentos, planos, esquemas, gráficos y mapas. El agente debe reunir información de esos archivos y, en la mayoría de las tareas, crear o modificar un documento independiente: no basta con responder una pregunta sobre una imagen.
La evaluación privada reúne 200 tareas de 10 sectores y 83 ocupaciones. Cada tarea usa entre 2 y 45 archivos; en conjunto son 1.459. En 176 tareas, el agente debe producir un archivo, como un documento, una presentación o una hoja de cálculo. El anuncio de Google DeepMind presentó el benchmark en colaboración con Artificial Analysis.
Qué significa Climb-WSR
Climb-WSR es la media, calculada por tarea, de la proporción ponderada de criterios satisfechos en el subconjunto más difícil de la rúbrica. Los criterios tienen pesos distintos, de modo que la puntuación refleja cuánto trabajo evaluado se completó, no cuántas tareas se resolvieron enteras. El informe técnico de Google DeepMind también ofrece una puntuación global, Overall WSR.
La evaluación automática se contrastó con valoraciones humanas en un estudio de 50 tareas repartidas en nueve sectores. El evaluador coincidió con los especialistas en el 96,2 % de los criterios comparados; el intervalo de confianza del 95 % fue del 94,7 % al 97,6 %. Es una medida de acuerdo entre evaluadores en ese estudio.
Para interpretar una clasificación de agentes, importa tanto qué tareas puntúa como la posición que ocupa cada modelo.
Qué muestran los resultados de los modelos
En la comparación del informe, Claude Fable 5.2 obtuvo la puntuación Climb-WSR más alta, con Gemini 4 Carbon y Claude Opus 5.5 a continuación. Sin embargo, el análisis pareado por tareas no encontró diferencias estadísticamente significativas entre esos tres modelos. La ventaja numérica de Fable 5.2 sobre Carbon fue de 2,22 puntos porcentuales, con un intervalo de confianza del 95 % de −0,94 a +5,49 puntos.
| Modelo | Climb-WSR | Overall WSR | Media de turnos por tarea | Duración media por tarea | Coste medio de API por tarea |
| Claude Fable 5.2 | 56,56 % | 73,26 % | 128,8 | 83,2 min | 35,28 US$ |
| Gemini 4 Carbon | 54,34 % | 71,89 % | 46,6 | 29,2 min | 5,63 US$ |
| Claude Opus 5.5 | 53,01 % | 70,98 % | 91,4 | 33,8 min | 10,29 US$ |
| GPT-6 Astra | 50,24 % | 69,34 % | 29,0 | 18,5 min | 6,03 US$ |
Los costes son medias por tarea a los precios de lista de cada proveedor e incluyen los precios de lectura y escritura de la caché de indicaciones. Son los costes registrados para la carga de trabajo del benchmark. La tabla también muestra que el orden por puntuación no coincide con el de coste o duración: cada columna mide un aspecto distinto del ensayo.
El informe ejecutó cada modelo una vez por tarea. Por eso, la clasificación describe esos resultados en la configuración evaluada, sin medir la variabilidad entre ejecuciones repetidas.
Qué cambió al retirar el acceso a imágenes
En una prueba con Gemini 4 Carbon, el equipo retiró la herramienta view_image y mantuvo disponibles otras herramientas, como OCR, búsqueda web y ejecución de código. En esas condiciones, Climb-WSR bajó 5,94 puntos porcentuales y Overall WSR cayó 4,58 puntos. También aumentaron el uso de tokens de entrada a 1,85 veces el nivel con acceso a imágenes, los de salida a 1,40 veces y los turnos a 1,28 veces.
El resultado describe esa prueba de Carbon dentro de MKA: cuantifica el efecto de quitar la herramienta visual en ese montaje, no el de todos los agentes o tareas profesionales.
Qué parte de MKA es pública
El conjunto de evaluación de 200 tareas es privado. Hay además un conjunto público de 10 tareas de muestra, separado del privado; no es el conjunto con el que se calculó la comparación de los cuatro modelos.