O Multimodal Knowledge Agent (MKA) avalia agentes de IA em tarefas profissionais que exigem reunir informações de arquivos visuais variados e produzir uma entrega completa. Google DeepMind anunciou o benchmark com a Artificial Analysis em 10 de novembro de 2026; na comparação técnica publicada pela empresa, os três primeiros modelos não se distinguem estatisticamente na principal métrica de qualidade. Anúncio do Google DeepMind · Relatório técnico do MKA
O que o benchmark MKA avalia
O MKA foi concebido para tarefas de várias etapas, como interpretar desenhos técnicos, mapas e gráficos e transformar essas informações em um documento ou outro arquivo final. Assim, ele avalia o trabalho do agente ao longo de uma tarefa completa, não apenas uma resposta a uma pergunta sobre uma imagem.
A avaliação principal reúne 200 tarefas, distribuídas por 10 setores e 83 ocupações. Cada tarefa usa de 2 a 45 arquivos; no total, são 1.459 arquivos, com média de 7,3 por tarefa. Em 176 tarefas, o agente precisa criar ou modificar um arquivo independente. Os outros 24 são respondidos diretamente em texto. O relatório técnico descreve a composição das tarefas e dos arquivos.
A avaliação completa é privada. Há também um conjunto público separado, com 10 tarefas de demonstração que não fazem parte das 200 avaliadas.
Como interpretar a pontuação e a avaliação automática
Climb-WSR é a média, por tarefa, da proporção ponderada de critérios mais difíceis que o agente satisfez. Os critérios têm pesos diferentes; por isso, uma pontuação de 54,34% não significa que o modelo tenha concluído 54,34% das tarefas por inteiro.
O relatório também avaliou o sistema automático de correção em um estudo com 50 tarefas de nove setores. O sistema e os avaliadores humanos concordaram em 96,2% dos critérios comparados; o intervalo de confiança de 95% foi de 94,7% a 97,6%, e o kappa ponderado de Cohen foi 0,911. Essa é uma medida de concordância entre avaliadores, não de precisão geral do benchmark. Os métodos e resultados da validação estão no relatório técnico.
Uma posição no ranking mostra a ordem observada; a incerteza estatística e o custo por tarefa respondem a perguntas diferentes.
O que a comparação entre modelos revela
Claude Fable 5.2 obteve a maior pontuação Climb-WSR, seguido por Gemini 4 Carbon e Claude Opus 5.5. Mas a diferença de 2,22 pontos percentuais entre Fable 5.2 e Carbon não foi estatisticamente significativa na análise pareada por tarefa: o intervalo de confiança de 95% para essa diferença vai de −0,94 a +5,49 pontos. O relatório considera os três primeiros indistinguíveis nessa métrica.
| Modelo | Climb-WSR | Média de turnos por tarefa | Tempo médio por tarefa | Custo médio de API por tarefa (US$) |
| Claude Fable 5.2 | 56,56% | 128,8 | 83,2 min | US$ 35,28 |
| Gemini 4 Carbon | 54,34% | 46,6 | 29,2 min | US$ 5,63 |
| Claude Opus 5.5 | 53,01% | 91,4 | 33,8 min | US$ 10,29 |
| GPT-6 Astra | 50,24% | 29,0 | 18,5 min | US$ 6,03 |
Os custos são médias por tarefa calculadas com os preços de lista de API dos provedores, incluindo a cobrança de leitura e gravação do cache de prompts. No teste, o custo médio de Gemini 4 Carbon foi US$ 5,63 por tarefa, ante US$ 35,28 para Claude Fable 5.2. É uma diferença de custo nesse conjunto de tarefas e nessas condições de preço; não determina qual modelo terá menor custo em outro fluxo de trabalho.
O que mudou quando Carbon deixou de ver imagens
Em um teste separado com Gemini 4 Carbon, o relatório retirou a ferramenta de visualização de imagens, mas manteve recursos como execução de código, busca na web, análise de arquivos e bibliotecas de OCR e visão computacional. Nessa configuração, a pontuação Climb-WSR caiu 5,94 pontos percentuais e a WSR geral, 4,58 pontos. O uso também aumentou: os turnos chegaram a 1,28 vez o nível da configuração com imagens, os tokens de saída a 1,40 vez e os tokens de entrada a 1,85 vez.
O resultado mostra o efeito da ferramenta visual para Carbon nas condições específicas do MKA. Ele não mede o impacto para todos os modelos ou para qualquer aplicação de agentes de IA. O relatório técnico detalha o teste de remoção da ferramenta de imagem.
A comparação dos quatro modelos usou uma execução por modelo em cada tarefa. Por isso, os resultados descrevem essa rodada do benchmark, sem estimar a variação entre execuções repetidas.