O Multimodal Knowledge Agent (MKA) avalia agentes de IA em tarefas profissionais que exigem reunir informações de arquivos visuais variados e produzir uma entrega completa. Google DeepMind anunciou o benchmark com a Artificial Analysis em 10 de novembro de 2026; na comparação técnica publicada pela empresa, os três primeiros modelos não se distinguem estatisticamente na principal métrica de qualidade. Anúncio do Google DeepMind · Relatório técnico do MKA

O que o benchmark MKA avalia

O MKA foi concebido para tarefas de várias etapas, como interpretar desenhos técnicos, mapas e gráficos e transformar essas informações em um documento ou outro arquivo final. Assim, ele avalia o trabalho do agente ao longo de uma tarefa completa, não apenas uma resposta a uma pergunta sobre uma imagem.

A avaliação principal reúne 200 tarefas, distribuídas por 10 setores e 83 ocupações. Cada tarefa usa de 2 a 45 arquivos; no total, são 1.459 arquivos, com média de 7,3 por tarefa. Em 176 tarefas, o agente precisa criar ou modificar um arquivo independente. Os outros 24 são respondidos diretamente em texto. O relatório técnico descreve a composição das tarefas e dos arquivos.

A avaliação completa é privada. Há também um conjunto público separado, com 10 tarefas de demonstração que não fazem parte das 200 avaliadas.

Como interpretar a pontuação e a avaliação automática

Climb-WSR é a média, por tarefa, da proporção ponderada de critérios mais difíceis que o agente satisfez. Os critérios têm pesos diferentes; por isso, uma pontuação de 54,34% não significa que o modelo tenha concluído 54,34% das tarefas por inteiro.

O relatório também avaliou o sistema automático de correção em um estudo com 50 tarefas de nove setores. O sistema e os avaliadores humanos concordaram em 96,2% dos critérios comparados; o intervalo de confiança de 95% foi de 94,7% a 97,6%, e o kappa ponderado de Cohen foi 0,911. Essa é uma medida de concordância entre avaliadores, não de precisão geral do benchmark. Os métodos e resultados da validação estão no relatório técnico.

Uma posição no ranking mostra a ordem observada; a incerteza estatística e o custo por tarefa respondem a perguntas diferentes.

O que a comparação entre modelos revela

Claude Fable 5.2 obteve a maior pontuação Climb-WSR, seguido por Gemini 4 Carbon e Claude Opus 5.5. Mas a diferença de 2,22 pontos percentuais entre Fable 5.2 e Carbon não foi estatisticamente significativa na análise pareada por tarefa: o intervalo de confiança de 95% para essa diferença vai de −0,94 a +5,49 pontos. O relatório considera os três primeiros indistinguíveis nessa métrica.

ModeloClimb-WSRMédia de turnos por tarefaTempo médio por tarefaCusto médio de API por tarefa (US$)
Claude Fable 5.256,56%128,883,2 minUS$ 35,28
Gemini 4 Carbon54,34%46,629,2 minUS$ 5,63
Claude Opus 5.553,01%91,433,8 minUS$ 10,29
GPT-6 Astra50,24%29,018,5 minUS$ 6,03

Os custos são médias por tarefa calculadas com os preços de lista de API dos provedores, incluindo a cobrança de leitura e gravação do cache de prompts. No teste, o custo médio de Gemini 4 Carbon foi US$ 5,63 por tarefa, ante US$ 35,28 para Claude Fable 5.2. É uma diferença de custo nesse conjunto de tarefas e nessas condições de preço; não determina qual modelo terá menor custo em outro fluxo de trabalho.

O que mudou quando Carbon deixou de ver imagens

Em um teste separado com Gemini 4 Carbon, o relatório retirou a ferramenta de visualização de imagens, mas manteve recursos como execução de código, busca na web, análise de arquivos e bibliotecas de OCR e visão computacional. Nessa configuração, a pontuação Climb-WSR caiu 5,94 pontos percentuais e a WSR geral, 4,58 pontos. O uso também aumentou: os turnos chegaram a 1,28 vez o nível da configuração com imagens, os tokens de saída a 1,40 vez e os tokens de entrada a 1,85 vez.

O resultado mostra o efeito da ferramenta visual para Carbon nas condições específicas do MKA. Ele não mede o impacto para todos os modelos ou para qualquer aplicação de agentes de IA. O relatório técnico detalha o teste de remoção da ferramenta de imagem.

A comparação dos quatro modelos usou uma execução por modelo em cada tarefa. Por isso, os resultados descrevem essa rodada do benchmark, sem estimar a variação entre execuções repetidas.