Il 20 ottobre 2026 Google ha annunciato backend PyTorch nativi per vLLM e SGLang sulle sue TPU, unità di elaborazione tensoriale progettate per i carichi di lavoro di IA. Nello stesso annuncio, Zongwei Zhou, responsabile PyTorch-TPU di Meta, ha dichiarato che SGLang-TorchTPU era già in produzione presso Meta. La dichiarazione riguarda SGLang, non l’uso in produzione del backend vLLM.
Che cosa cambia per chi sviluppa con PyTorch
L’interfaccia TorchTPU presentata da Google permette di usare una TPU come dispositivo nativo per i tensori PyTorch, identificato da tpu. Il codice può essere eseguito direttamente oppure compilato con torch.compile tramite XLA; le operazioni collettive si appoggiano a torch.distributed.
Google afferma che la maggior parte dei modelli mantiene le definizioni PyTorch standard. Le ottimizzazioni per le TPU arrivano da kernel Pallas e implementazioni specifiche di alcuni livelli del modello. In pratica, il nuovo percorso consente di portare molti modelli PyTorch sulle TPU senza riscriverli da capo.
L’annuncio riguarda due backend: Inferact ha collaborato al supporto per vLLM, mentre RadixArk ha lavorato a quello per SGLang. Google aveva già reso disponibili versioni di entrambi i motori per TPU basate su JAX; TorchTPU introduce il percorso nativo PyTorch.
L’uso in produzione non significa acquisto di chip
No: la dichiarazione di Zhou descrive l’esecuzione in produzione del software SGLang-TorchTPU, non l’acquisto di TPU fisiche da parte di Meta. Usare capacità di calcolo tramite un servizio cloud e comprare chip sono modalità diverse.
Secondo la ricostruzione storica pubblicata da Google nel 2024, il servizio Cloud TPU per i clienti era iniziato all’inizio del 2018. Quel servizio offre accesso alle TPU tramite Google Cloud; la dichiarazione di Meta riguarda invece l’uso in produzione di SGLang-TorchTPU.
