Google DeepMind e Artificial Analysis hanno annunciato il benchmark Multimodal Knowledge Agent (MKA) il 10 novembre 2026. MKA valuta agenti che devono ricavare informazioni da più file visivamente complessi e usarle per completare un’attività professionale, spesso producendo un documento o un altro elaborato. Nel confronto pubblicato da Google DeepMind, Gemini 4 Carbon è secondo per Climb-WSR, ma l’analisi statistica non distingue i primi tre modelli su questa metrica. (Annuncio di Google DeepMind; rapporto tecnico MKA)
Che cosa valuta MKA
Il benchmark misura un lavoro articolato, non una singola risposta a una domanda su un’immagine. Le attività possono richiedere di unire informazioni provenienti, per esempio, da planimetrie, schemi elettronici, radiografie, grafici e mappe, per poi realizzare un risultato utilizzabile.
La valutazione privata comprende 200 attività, distribuite in modo uniforme fra 10 settori e riferite a 83 professioni. Ogni attività usa da 2 a 45 file: in tutto sono 1.459. In 176 casi l’agente deve creare o modificare un file autonomo; le altre attività richiedono una risposta testuale. (Rapporto tecnico MKA)
Come si leggono i punteggi
Climb-WSR è la media, calcolata sulle singole attività, della quota ponderata di criteri soddisfatti nel sottoinsieme più difficile della griglia di valutazione. I criteri Climb sono quelli che un gruppo fisso di modelli di generazione precedente non superava con regolarità. Ogni criterio ha un peso da 1 a 5. Quindi il 54,34% di Gemini 4 Carbon indica la quota media ponderata di criteri Climb soddisfatti, non una percentuale di attività portate a termine integralmente.
Il rapporto tecnico riporta anche il 96,2% di accordo fra il valutatore automatico e i valutatori umani, criterio per criterio. Il dato proviene da uno studio su 50 attività in nove settori; l’intervallo di confidenza al 95% è 94,7–97,6% e il κ ponderato di Cohen è 0,911. È una misura dell’accordo fra valutatori in quello studio. (Rapporto tecnico MKA)
Risultati dei quattro modelli
| Modello | Climb-WSR | Overall WSR | Turni medi per attività | Costo API medio per attività |
| Claude Fable 5.2 | 56,56% | 73,26% | 128,8 | 35,28 USD |
| Gemini 4 Carbon | 54,34% | 71,89% | 46,6 | 5,63 USD |
| Claude Opus 5.5 | 53,01% | 70,98% | 91,4 | 10,29 USD |
| GPT-6 Astra | 50,24% | 69,34% | 29,0 | 6,03 USD |
Il rapporto colloca Claude Fable 5.2 al primo posto e Gemini 4 Carbon al secondo, con una differenza di 2,22 punti percentuali nel Climb-WSR. Nell’analisi appaiata per attività, però, i primi tre risultati sono statisticamente indistinguibili: l’intervallo di confidenza al 95% della differenza fra Fable 5.2 e Carbon va da −0,94 a +5,49 punti. La graduatoria descrive dunque i risultati osservati, senza stabilire un vantaggio statistico fra i primi tre modelli.
I costi sono medie per attività calcolate ai prezzi di listino API dei fornitori e includono i prezzi di lettura e scrittura della cache dei prompt. Nel test, il costo medio riportato per Gemini 4 Carbon è stato di 5,63 USD per attività, contro 35,28 USD per Claude Fable 5.2: è un dato riferito a quel carico di lavoro e a quelle condizioni di prezzo. Ogni modello è stato eseguito una sola volta per attività. (Rapporto tecnico MKA)
In una classifica MKA, posizione, incertezza statistica e costo per attività rispondono a domande diverse: conviene considerarli separatamente.
Che cosa cambia senza accesso alle immagini
In una prova con Gemini 4 Carbon, il rapporto ha rimosso lo strumento view_image, mantenendo disponibili strumenti come esecuzione di codice, ricerca sul web, analisi dei file, OCR e librerie di visione artificiale. Il Climb-WSR è sceso di 5,94 punti percentuali e l’Overall WSR di 4,58 punti. Nella stessa condizione, i token in ingresso sono saliti a 1,85 volte quelli della prova con immagini, quelli in uscita a 1,40 volte e i turni a 1,28 volte.
Questi risultati riguardano Gemini 4 Carbon nella configurazione MKA descritta dal rapporto. (Rapporto tecnico MKA)
La valutazione completa resta privata; Google DeepMind ha pubblicato un insieme distinto di 10 attività dimostrative, chiamato MKA-Showcase.