Op 5 november 2026 meldde SemiAnalysis vier resultaten van Google TPUv7 op de AgentX-benchmark. De uitkomsten lopen uiteen per model, rekenprecisie, gebruikte software en meetmethode. Samen leveren ze dus geen algemene ranglijst voor AI-inferentie op.
Wat de AgentX-test meet
AgentX richt zich op meerstapsessies met lange contexten, hergebruik van eerdere prompts en pieken waarin meerdere subagenten tegelijk actief zijn. Dat is een specifieke werklast voor AI-agenten. De uitkomsten zeggen daarmee iets over die testopzet, niet automatisch over elk gebruik van AI-inferentie.
Twee meettermen zijn belangrijk. Decode is het genereren van uitvoertokens nadat het model de invoer heeft verwerkt. Een end-to-end-meting omvat de volledige afhandeling, dus ook de verwerking van de invoer. Tokens per dollar geeft weer hoeveel tokens een systeem volgens de gehanteerde kostenberekening per dollar produceert. Dat is een efficiëntiemaatstaf, geen losse snelheidsscore.
Vergelijk accelerators alleen wanneer model, precisie, werklast, snelheidseis en meetpunt overeenkomen.
Vier modelgroepen, verschillende uitkomsten
Voor Muse Spark Open gebruikte de inzending SGLang-TorchTPU en NVFP4-gewichten. SemiAnalysis beschreef de decode-efficiëntie per dollar als concurrerend op basis van Meta’s genoemde TPU-kosten, maar merkte ook op dat de end-to-end-latentie nog verbetering nodig had, onder meer bij de verwerking van invoer.
Bij GLM-5.2 in FP8 rapporteerde SemiAnalysis voor TPUv7 1,2 tot 2,7 keer zoveel tokens per dollar als B200, B300 en MI355X, bij een interactiviteitsdoel van 60 tot 300 tokens per seconde per gebruiker. Bij 150 tokens per seconde per gebruiker was de gerapporteerde verhouding tegenover H200 4,4 keer.
De vergelijking rond GLM-5.3 laat zien hoe sterk de precisie de uitkomst kan beïnvloeden. Bij 100 tokens per seconde per gebruiker leverden GB300 en GB200 in FP4 volgens SemiAnalysis respectievelijk 3,6 en 3,5 keer zoveel tokens per dollar als TPUv7. SemiAnalysis schrijft dat TPUv7 geen native FP4-ondersteuning heeft; een FP4-vergelijking brengt bovendien een afweging in modelkwaliteit met zich mee.
Voor Qwen3.5 397B gebruikte de eerste beschreven inzending vLLM in FP8. SemiAnalysis rapporteerde daarbij 1,67 keer zoveel prestaties per dollar voor TPUv7 als voor GB300 NVL72 in FP4. Een latere NVIDIA-tegeninzending kwam volgens hetzelfde verslag beter uit op decodeprestaties, terwijl TPUv7 in die opstelling end-to-end voorbleef. Dat zijn verschillende meetpunten, geen enkele totaalscore.
De Qwen3.5-opstelling met llm-d gebruikte 24 tot 32 TPUv7-chips per resultaat, met vier chips per host. Op het snelste geteste punt rapporteerde SemiAnalysis een p90-tijd tot de eerste token van 8,6 seconden voor TPUv7 en 11,1 seconden voor GB300 in FP4. P90 is de grens waarbinnen 90 procent van de gemeten verzoeken valt. Dezelfde analyse meldde dat cachebewuste routering het aandeel cachetreffers verhoogde van 56 naar 76 procent.
Ook de Kimi K3-resultaten veranderden met de inzending. In de aanvankelijke vergelijking lag TPUv7 volgens SemiAnalysis op 0,77 tot 0,91 keer de tokens per dollar van GB300, bij doelen van 50 tot 200 tokens per seconde per gebruiker. In een vergelijking met één gebruiker haalde TPUv7 391 tokens per seconde per gebruiker tegenover 251 voor GB300. Na vier updates van NVIDIA rapporteerde SemiAnalysis dat GB300 in FP4 TPUv7 met een factor 1,5 tot 2,6 voorbleef op tokens per dollar.
Google Cloud publiceert Ironwood-inferentievoorbeelden
Google Cloud noemt in zijn bibliotheek met Cloud TPU-voorbeelden onder meer vLLM-voorbeelden voor GPT OSS-120B en Qwen3-Coder-480B op Ironwood, plus inferentievoorbeelden met PyTorch en TorchTPU. Die voorbeelden bieden concrete softwarepaden om te bekijken; ze zijn geen benchmarkmetingen.
