Meta setzt nach Aussage seines PyTorch-TPU-Leiters Zongwei Zhou SGLang-TorchTPU in der Produktion ein. Google veröffentlichte Zhous Aussage am 20. Oktober 2026 und kündigte zugleich native PyTorch-Backends für SGLang und vLLM auf seinen Tensor Processing Units (TPUs) an, spezialisierten KI-Beschleunigern.
Was Meta in Produktion nutzt
Zhou erklärte, dass SGLang-TorchTPU bei Meta in Produktion laufe. Die Aussage bezieht sich auf SGLang. Google kündigte am selben Tag auch ein Backend für vLLM an; Inferact entwickelte laut Google das vLLM-Backend, RadixArk das SGLang-Backend.
Was TorchTPU für PyTorch verändert
TorchTPU stellt PyTorch ein natives Gerät mit der Bezeichnung tpu bereit. Entwickler können PyTorch-Code direkt ausführen oder mit torch.compile über XLA kompilieren. Verteilte Kollektivoperationen laufen über torch.distributed.
Google zufolge verwenden die meisten Modelle weiterhin ihre üblichen PyTorch-Definitionen. TPU-spezifische Pallas-Kernels und Layer-Implementierungen optimieren die Ausführung. Zuvor liefen vLLM und SGLang auf TPUs über JAX-basierte Backends. Die neue Anbindung bietet PyTorch-Teams einen Weg, ihre Modelle meist ohne umfassende Umschreibungen auf TPUs auszuführen.
Cloud-TPU-Zugang für Kunden seit Anfang 2018
Google datiert den Start seines Cloud-TPU-Dienstes für Kunden auf Anfang 2018. Über Google Cloud konnten Kunden damit TPU-Rechenleistung als Cloud-Dienst nutzen. Zhou beschrieb den Produktionseinsatz von SGLang-TorchTPU bei Meta.
