El 5 de noviembre de 2026, SemiAnalysis publicó cuatro resultados de inferencia de TPUv7 (Ironwood) en AgentX. Las cifras cambian según el modelo, la precisión numérica, el software y la métrica: algunas comparativas favorecen a TPUv7 y otras a aceleradores de NVIDIA. No dibujan un ganador universal.

AgentX mide una carga de trabajo concreta

AgentX evalúa sesiones de varios turnos y contextos largos, con reutilización de prefijos y ráfagas de actividad de subagentes, según la descripción de SemiAnalysis. Un prefijo es la parte inicial de una entrada que puede reutilizarse en solicitudes posteriores. Este patrón busca representar ciertas tareas con agentes de IA, no todo uso de inferencia.

Una cifra de coste por dólar solo resulta útil junto con el modelo, la precisión, la velocidad objetivo y la parte del servicio que se mide.

Cuatro modelos, configuraciones distintas

Las pruebas no usan una única receta. En cada caso cambian el modelo y la pila de software, y las comparaciones pueden medir fases distintas del servicio.

  • Muse Spark Open: RadixArk envió el resultado con SGLang-TorchTPU y pesos NVFP4. SemiAnalysis describió a TPUv7 como competitivo en rendimiento de decodificación por dólar, usando el coste de TPU atribuido a Meta, pero señaló que la latencia de extremo a extremo aún requería trabajo. También relacionó parte de la dificultad con las cabezas de atención de 64 dimensiones del modelo: según su análisis, estas dejan un 25 % de la matriz sistólica de TPU sin aprovechar en atención de contexto largo.
  • GLM-5.2 y GLM-5.3: En GLM-5.2 con vLLM y FP8, SemiAnalysis informó que TPUv7 ofrecía entre 1,2 y 2,7 veces los tokens por dólar de B200, B300 y MI355X para objetivos de 60 a 300 tokens por segundo por usuario. A 150 tokens por segundo por usuario, informó una relación de 4,4 veces frente a H200. Para GLM-5.3, en cambio, la comparación FP4 favoreció a GB300 y GB200: a 100 tokens por segundo por usuario, SemiAnalysis les atribuyó 3,6 y 3,5 veces los tokens por dólar de TPUv7, respectivamente. El informe atribuye esta diferencia, en parte, a que TPUv7 carece de soporte nativo para FP4; además, advierte de una compensación de calidad en las comparaciones FP4.
  • Qwen3.5 397B: En la presentación inicial con vLLM, la relación de rendimiento por dólar de TPUv7 FP8 fue 1,67 veces la de GB300 NVL72 FP4, según SemiAnalysis. En un envío posterior de NVIDIA, FP4 superó a TPUv7 en decodificación, mientras que TPUv7 mantuvo la ventaja de extremo a extremo en la configuración descrita. Esas métricas no miden lo mismo: la decodificación cuenta la generación de tokens después de procesar la entrada; la medición de extremo a extremo incluye el servicio completo. En otra observación, con llm-d y entre 24 y 32 chips TPUv7 por resultado, el tiempo hasta el primer token en el percentil 90 fue de 8,6 segundos en el punto más rápido probado con TPUv7 y de 11,1 segundos en el punto más rápido de GB300 FP4. Cada host de TPUv7 usó cuatro chips.
  • Kimi K3: El envío conjunto de Inferact y Google empleó vLLM y pesos MXFP4. En la comparación inicial, TPUv7 alcanzó entre 0,77 y 0,91 veces los tokens por dólar de GB300 para objetivos de 50 a 200 tokens por segundo por usuario. En una comparación de un solo usuario, SemiAnalysis informó 391 tokens por segundo por usuario con TPUv7 y 251 con GB300. Tras cuatro actualizaciones de NVIDIA, el análisis situó a GB300 FP4 entre 1,5 y 2,6 veces por delante de TPUv7 en tokens por dólar. Son estados distintos de los envíos, no una única comparación invariable.

Qué cambia al comparar coste, velocidad y latencia

«Tokens por dólar» expresa cuántos tokens se sirven por unidad de coste; no es una tarifa de venta ni una medición aislada de velocidad. También depende del objetivo de interactividad, expresado aquí en tokens por segundo por usuario. Por eso un sistema puede generar más rápido para un usuario y, aun así, ofrecer menos tokens por dólar en una carga con varios usuarios.

FP8 y FP4 indican formatos de precisión distintos para representar los pesos del modelo. Comparar resultados obtenidos con precisiones diferentes no equivale a comparar la misma configuración, y SemiAnalysis señala que FP4 puede implicar una compensación de calidad. El resultado de GLM-5.2 FP8 y el de GLM-5.3 FP4, por tanto, responden a condiciones distintas.

Ejemplos de inferencia Ironwood en Google Cloud

La biblioteca de ejemplos de Cloud TPU incluye rutas de serving con vLLM para GPT OSS-120B y Qwen3-Coder-480B en Ironwood, además de ejemplos de inferencia con PyTorch y TorchTPU. Son puntos de partida de software documentados por Google Cloud; no son mediciones de rendimiento de AgentX.