El 20 de octubre de 2026, Google anunció backends nativos de PyTorch para vLLM y SGLang en sus TPU. En ese anuncio, Zongwei Zhou, responsable de PyTorch-TPU en Meta, dijo que SGLang-TorchTPU ya funcionaba en producción en Meta. La declaración se refiere a SGLang, no a vLLM.
Qué aporta TorchTPU a PyTorch
TorchTPU permite usar las TPU como un dispositivo nativo de PyTorch, identificado como tpu. Google describe dos vías de ejecución: ejecutar el código directamente o compilarlo con torch.compile y XLA, el compilador que traduce operaciones para el acelerador. Las operaciones colectivas, usadas para coordinar cálculos entre dispositivos, se gestionan con torch.distributed.
Google afirma que la mayoría de los modelos conserva las definiciones estándar de PyTorch. Las optimizaciones para TPU se incorporan en kernels y capas específicos, así que la compatibilidad no significa que todos los modelos funcionen sin ajustes. Antes, vLLM y SGLang ya podían ejecutarse en TPU mediante backends basados en JAX. Google identificó a RadixArk como socio para SGLang-TorchTPU y a Inferact para vLLM-TorchTPU.
Producción de software y acceso a los chips
La declaración de Zhou sitúa en producción SGLang-TorchTPU, el backend de SGLang para TPU. Google anunció vLLM-TorchTPU junto con él, pero la afirmación de producción de Meta se refiere a SGLang-TorchTPU.
Google sitúa a comienzos de 2018 el lanzamiento de Cloud TPU para clientes. Ese servicio da acceso a capacidad de cómputo en la nube; comprar chips físicos es una modalidad distinta de acceso al hardware.
