Il 5 novembre 2026 SemiAnalysis ha riportato quattro risultati del benchmark AgentX su Google TPUv7, relativi a Muse Spark Open, GLM-5.2, Qwen3.5 397B e Kimi K3. Gli esiti cambiano con il modello, il formato numerico, il software di inferenza e la metrica: i test descrivono configurazioni specifiche, non una classifica valida per ogni carico di lavoro.

Che cosa misura AgentX

AgentX valuta sessioni multi-turno con contesti lunghi, riutilizzo di parti del contesto già elaborate e picchi di attività affidati a sottoagenti. È uno scenario utile per osservare l’inferenza agentica, cioè la generazione di risposte in flussi di lavoro articolati. Non rappresenta, da solo, ogni uso dell’inferenza.

Un risultato espresso in token per dollaro indica quanti token di output vengono serviti per unità di costo; non coincide con la velocità massima. La precisione, come FP8 o FP4, indica il formato numerico usato per i pesi del modello. Anche lo stack software, il ritmo di risposta richiesto per utente e la fase misurata incidono sul confronto.

Per leggere un benchmark di inferenza, abbina sempre modello, precisione, software, hardware e metrica: cambiando una di queste condizioni può cambiare anche il risultato.

Quattro modelli, esiti diversi

Muse Spark Open e GLM

Per Muse Spark Open, un modello da 816 miliardi di parametri, il test usa SGLang-TorchTPU e pesi NVFP4. SemiAnalysis descrive la prestazione di decodifica per dollaro come competitiva rispetto al costo TPU attribuito a Meta; segnala però che, in quel test, la latenza complessiva richiedeva ancora ottimizzazioni, in particolare nella fase di prefill, che elabora il contesto prima della generazione.

Nel caso di GLM-5.2 con vLLM e pesi FP8, SemiAnalysis riporta che TPUv7 ha prodotto da 1,2 a 2,7 volte i token per dollaro di B200, B300 e MI355X, nell’intervallo da 60 a 300 token al secondo per utente. A 150 token al secondo per utente, il rapporto riportato rispetto a H200 è di 4,4 a 1.

La comparazione FP4 per GLM-5.3 dà un esito diverso: a 100 token al secondo per utente, SemiAnalysis attribuisce a GB300 e GB200 rispettivamente 3,6 e 3,5 volte i token per dollaro di TPUv7. L’analisi segnala che TPUv7 non supporta FP4 nativamente e che confrontare FP4 e FP8 comporta un compromesso sulla qualità.

Qwen3.5 397B

Nel risultato iniziale per Qwen3.5 397B, la configurazione vLLM su TPUv7 con pesi FP8 raggiunge, secondo SemiAnalysis, 1,67 volte le prestazioni per dollaro di GB300 NVL72 con pesi FP4. In un successivo invio NVIDIA, FP4 supera TPUv7 nella sola decodifica, mentre TPUv7 resta avanti nella prestazione end-to-end della configurazione descritta.

La differenza dipende anche da che cosa viene cronometrato. La decodifica misura la generazione dei token; la metrica end-to-end comprende l’intero servizio. Nel confronto con llm-d, ogni risultato usa da 24 a 32 chip TPUv7, quattro per host. Al punto più veloce testato per ciascun sistema, il 90° percentile del tempo al primo token è di 8,6 secondi per TPUv7 e 11,1 secondi per GB300 FP4. Sono tempi associati ai rispettivi punti di prova, non a un unico ritmo operativo comune.

Kimi K3

I risultati riportati per Kimi K3 variano anche in base all’invio considerato. Nel confronto iniziale, TPUv7 raggiunge da 0,77 a 0,91 volte i token per dollaro di GB300, tra 50 e 200 token al secondo per utente; in una prova a singolo utente, la velocità riportata è di 391 contro 251 token al secondo per utente.

Dopo quattro aggiornamenti NVIDIA, SemiAnalysis riporta un vantaggio da 1,5 a 2,6 volte per GB300 FP4 rispetto a TPUv7. In un’altra comparazione successiva, l’analisi attribuisce invece a TPUv7 da 1,15 a 2,5 volte i token per dollaro di GB200, B200 e B300. Sono risultati riferiti a configurazioni e stati degli invii diversi.

Esempi Ironwood nella documentazione Google Cloud

Google Cloud elenca esempi di inferenza Ironwood con vLLM per GPT OSS-120B e Qwen3-Coder-480B, oltre a esempi basati su PyTorch e TorchTPU. Sono percorsi software documentati per provare specifici modelli e framework; la loro presenza non misura le prestazioni dei chip. La raccolta di esempi Cloud TPU di Google consente di consultare questi percorsi di implementazione.