Em 20 de outubro de 2026, o Google anunciou backends nativos de PyTorch para os mecanismos de inferência vLLM e SGLang nas TPUs da empresa. No mesmo anúncio, Zongwei Zhou, líder de PyTorch-TPU na Meta, afirmou que o SGLang-TorchTPU estava em produção na Meta.
O que está em produção na Meta
A declaração de Zhou se refere ao SGLang-TorchTPU. O anúncio do Google também apresentou o vLLM-TorchTPU, mas não atribuiu à Meta o uso desse backend em produção.
O desenvolvimento envolve uma colaboração entre as equipes de PyTorch da Meta e do Google. O Google identificou a RadixArk como parceira no backend de SGLang e a Inferact como parceira no de vLLM.
O que o TorchTPU muda para quem desenvolve com PyTorch
O TorchTPU permite usar uma TPU como dispositivo nativo no PyTorch, o framework de aprendizado de máquina. O Google descreve a execução direta do código ou sua compilação com torch.compile, usando XLA, além de operações coletivas distribuídas por meio de torch.distributed.
Segundo o Google, a maioria dos modelos mantém as definições padrão do PyTorch. A otimização para TPU fica em kernels Pallas e implementações específicas de camadas. Isso oferece um caminho para levar modelos PyTorch às TPU sem reescrever a maior parte de suas definições, embora o software inclua otimizações próprias para o hardware.
Antes desses backends, vLLM e SGLang já podiam funcionar em TPUs por meio de backends baseados em JAX. A novidade anunciada pelo Google é a rota nativa de PyTorch para os dois mecanismos.
Acesso ao Cloud TPU e compra de chips são modalidades diferentes
O Google situa no início de 2018 o lançamento do serviço Cloud TPU para clientes do Google Cloud. Nesse modelo, o cliente acessa capacidade de processamento pela nuvem; a compra de chips físicos é outra modalidade. A declaração de Zhou trata do uso do SGLang-TorchTPU em produção na Meta.
