Op 20 oktober 2026 maakte Google bekend dat Meta’s PyTorch-TPU-leider Zongwei Zhou had gezegd dat SGLang-TorchTPU in productie draaide bij Meta. Google kondigde tegelijk native PyTorch-backends voor SGLang en vLLM op TPU’s aan. Zhou’s uitspraak bevestigt productiegebruik van SGLang-TorchTPU, geen aankoop van fysieke chips.
Welke software draait er bij Meta?
De verklaring van Zhou gaat specifiek over SGLang-TorchTPU. Google kondigde ook vLLM-TorchTPU aan, maar de productieverklaring van Zhou noemt die backend niet. SGLang en vLLM zijn software-engines die AI-modellen bedienen wanneer die antwoorden genereren.
Google ontwikkelde TorchTPU samen met het PyTorch-team van Meta. RadixArk werkte mee aan de SGLang-backend; Inferact aan de vLLM-backend.
Wat verandert TorchTPU voor PyTorch-ontwikkelaars?
TorchTPU maakt een TPU beschikbaar als een native tpu-apparaat in PyTorch. Ontwikkelaars kunnen PyTorch-code direct uitvoeren of met torch.compile laten compileren via XLA. Voor communicatie tussen apparaten gebruikt de software torch.distributed.
Volgens Google behouden de meeste modellen hun standaard PyTorch-definities. TPU-specifieke kernels en laagimplementaties leveren de optimalisaties. Daardoor kunnen ontwikkelaars veel bestaande modelcode inzetten zonder die volledig te herschrijven.
Wat zegt dit over de toegang tot TPU’s?
Google meldde dat klanten al vanaf begin 2018 TPU-capaciteit via de clouddienst Cloud TPU konden gebruiken. Cloudtoegang en de aankoop van fysieke chips zijn verschillende vormen van toegang. Zhou’s verklaring gaat over SGLang-TorchTPU in productie bij Meta; daarmee is geen aankoop van chips gemeld.
