20 października 2026 roku Google ogłosiło natywne backendy PyTorch dla vLLM i SGLang na układach TPU. Tego samego dnia Zongwei Zhou, szef zespołu PyTorch-TPU w Meta, powiedział, że SGLang-TorchTPU działał już w produkcji w Meta. Jego wypowiedź dotyczyła SGLang, nie vLLM.
Co TorchTPU zmienia dla programistów PyTorch
TorchTPU udostępnia TPU jako natywne urządzenie PyTorch oznaczone tpu. Google opisuje obsługę zwykłego wykonywania kodu oraz kompilacji przez torch.compile i XLA, czyli system kompilujący programy PyTorch do uruchomienia na TPU. Operacje zbiorcze między urządzeniami korzystają z torch.distributed.
Według Google większość modeli zachowuje standardowe definicje PyTorch. Optymalizacje dla TPU znajdują się między innymi w specjalnych jądrach Pallas i implementacjach warstw. To konkretna ścieżka dla zespołów pracujących w PyTorch: mogą kierować modele na TPU, korzystając z natywnego interfejsu, zamiast opierać obsługę tych silników wyłącznie na wcześniejszych backendach JAX.
Google wskazało Inferact jako partnera przy backendzie vLLM, a RadixArk przy SGLang. Wypowiedź Zhou odnosiła się do produkcyjnego użycia SGLang-TorchTPU w Meta.
Cloud TPU to dostęp do mocy obliczeniowej w chmurze
Google podało, że usługa Cloud TPU dla klientów ruszyła na początku 2018 roku. Daje ona dostęp do mocy obliczeniowej TPU przez Google Cloud. To inny sposób korzystania z układów niż zakup fizycznych chipów. Ogłoszenie dotyczące Meta opisuje produkcyjne wdrożenie stosu programowego SGLang-TorchTPU.
