Google DeepMind e Artificial Analysis hanno annunciato il benchmark Multimodal Knowledge Agent (MKA) il 10 novembre 2026. MKA valuta agenti che devono ricavare informazioni da più file visivamente complessi e usarle per completare un’attività professionale, spesso producendo un documento o un altro elaborato. Nel confronto pubblicato da Google DeepMind, Gemini 4 Carbon è secondo per Climb-WSR, ma l’analisi statistica non distingue i primi tre modelli su questa metrica. (Annuncio di Google DeepMind; rapporto tecnico MKA)

Che cosa valuta MKA

Il benchmark misura un lavoro articolato, non una singola risposta a una domanda su un’immagine. Le attività possono richiedere di unire informazioni provenienti, per esempio, da planimetrie, schemi elettronici, radiografie, grafici e mappe, per poi realizzare un risultato utilizzabile.

La valutazione privata comprende 200 attività, distribuite in modo uniforme fra 10 settori e riferite a 83 professioni. Ogni attività usa da 2 a 45 file: in tutto sono 1.459. In 176 casi l’agente deve creare o modificare un file autonomo; le altre attività richiedono una risposta testuale. (Rapporto tecnico MKA)

Come si leggono i punteggi

Climb-WSR è la media, calcolata sulle singole attività, della quota ponderata di criteri soddisfatti nel sottoinsieme più difficile della griglia di valutazione. I criteri Climb sono quelli che un gruppo fisso di modelli di generazione precedente non superava con regolarità. Ogni criterio ha un peso da 1 a 5. Quindi il 54,34% di Gemini 4 Carbon indica la quota media ponderata di criteri Climb soddisfatti, non una percentuale di attività portate a termine integralmente.

Il rapporto tecnico riporta anche il 96,2% di accordo fra il valutatore automatico e i valutatori umani, criterio per criterio. Il dato proviene da uno studio su 50 attività in nove settori; l’intervallo di confidenza al 95% è 94,7–97,6% e il κ ponderato di Cohen è 0,911. È una misura dell’accordo fra valutatori in quello studio. (Rapporto tecnico MKA)

Risultati dei quattro modelli

ModelloClimb-WSROverall WSRTurni medi per attivitàCosto API medio per attività
Claude Fable 5.256,56%73,26%128,835,28 USD
Gemini 4 Carbon54,34%71,89%46,65,63 USD
Claude Opus 5.553,01%70,98%91,410,29 USD
GPT-6 Astra50,24%69,34%29,06,03 USD

Il rapporto colloca Claude Fable 5.2 al primo posto e Gemini 4 Carbon al secondo, con una differenza di 2,22 punti percentuali nel Climb-WSR. Nell’analisi appaiata per attività, però, i primi tre risultati sono statisticamente indistinguibili: l’intervallo di confidenza al 95% della differenza fra Fable 5.2 e Carbon va da −0,94 a +5,49 punti. La graduatoria descrive dunque i risultati osservati, senza stabilire un vantaggio statistico fra i primi tre modelli.

I costi sono medie per attività calcolate ai prezzi di listino API dei fornitori e includono i prezzi di lettura e scrittura della cache dei prompt. Nel test, il costo medio riportato per Gemini 4 Carbon è stato di 5,63 USD per attività, contro 35,28 USD per Claude Fable 5.2: è un dato riferito a quel carico di lavoro e a quelle condizioni di prezzo. Ogni modello è stato eseguito una sola volta per attività. (Rapporto tecnico MKA)

In una classifica MKA, posizione, incertezza statistica e costo per attività rispondono a domande diverse: conviene considerarli separatamente.

Che cosa cambia senza accesso alle immagini

In una prova con Gemini 4 Carbon, il rapporto ha rimosso lo strumento view_image, mantenendo disponibili strumenti come esecuzione di codice, ricerca sul web, analisi dei file, OCR e librerie di visione artificiale. Il Climb-WSR è sceso di 5,94 punti percentuali e l’Overall WSR di 4,58 punti. Nella stessa condizione, i token in ingresso sono saliti a 1,85 volte quelli della prova con immagini, quelli in uscita a 1,40 volte e i turni a 1,28 volte.

Questi risultati riguardano Gemini 4 Carbon nella configurazione MKA descritta dal rapporto. (Rapporto tecnico MKA)

La valutazione completa resta privata; Google DeepMind ha pubblicato un insieme distinto di 10 attività dimostrative, chiamato MKA-Showcase.