Google kondigde op 9 november 2026 aan dat MaxText v0.2.4 training met lange contexten op Cloud TPU ondersteunt via vier strategieën voor contextparallellisme: All-gather, A2A/Ulysses, P2P/Ring Attention en USP. Bij deze aanpak wordt een reeks over chips verdeeld; de strategie bepaalt hoe ze de benodigde key- en value-gegevens voor aandacht uitwisselen. Google rapporteert trainingsreeksen tot 14 miljoen tokens op TPU 5p en TPU 7. De aankondiging van Google beschrijft ook de verschillen in geheugengebruik en communicatie.
Hoe contextparallellisme werkt
Bij aandacht (attention) berekent een model welke informatie uit een reeks belangrijk is. De benodigde keys en values, vaak afgekort tot K/V, worden bij contextparallellisme over meerdere chips verdeeld en uitgewisseld. Zo hoeft niet één chip de volledige reeks in zijn geheugen te bewaren.
Dat geheugen heet HBM: snel geheugen op de accelerator. Of de verzamelde K/V-gegevens daarin passen, is volgens Google een belangrijke factor bij de keuze van een strategie. Alle vier de methoden gebruiken Tokamax Splash Attention. Google beschrijft deze kernel als geschikt voor het overslaan van volledig gemaskeerde blokken en het verwerken van samengevoegde reeksen zonder padding.
Kijk eerst of de verzamelde K/V-gegevens in HBM passen: dat helpt bepalen of All-gather een praktische keuze is.
Vier strategieën, vier manieren om gegevens te verdelen
| Strategie | Gegevensverkeer | Voordeel | Beperking |
| All-gather | Elke chip verzamelt bij iedere laag de keys en values van de andere chips. | Eenvoudige aanpak; volgens Google snel of bijna het snelst wanneer de gegevens in HBM passen. | Het geheugengebruik groeit mee met de volledige reeks. Ook is taakverdeling nodig, omdat latere tokens door het causale masker grotere prefixes verwerken. |
| A2A/Ulysses | Verdeelt tokens en aandachtshoofden opnieuw vóór de aandachtberekening en draait die verdeling erna terug. | Verlaagt de K/V-geheugenbehoefte per chip naarmate de contextparallelfactor groeit. | De factor is begrensd door het aantal aandachtshoofden of K/V-hoofden. De all-to-all-uitwisseling overlapt niet met de aandachtberekening; Google vermeldt ook geen ondersteuning voor multi-query attention. |
| P2P/Ring Attention | Stuurt K/V-blokken langs naburige chips in een ring. | De overdracht kan overlappen met de berekening en geen enkele chip hoeft de volledige reeks op te slaan. | Taakverdeling blijft nodig; kleine blokken kunnen de efficiëntie van lokale kernels verlagen. |
| USP | Combineert A2A- en ringcommunicatie over twee assen van het TPU-chipnetwerk. | Kan grotere blokken en minder ringstappen gebruiken dan een ringaanpak alleen. | De A2A-factor blijft begrensd door het aantal K/V-hoofden; de ring breidt de verdeling daarbuiten uit. Google adviseert USP als de K/V-hoofden een A2A-factor van minstens 2 toelaten. |
All-gather is daarmee vooral geschikt wanneer de verzamelde K/V-gegevens in HBM passen. Past dat niet, dan adviseert Google een ringstrategie. USP komt in beeld als het model genoeg K/V-hoofden heeft voor een A2A-factor van minstens 2; P2P alleen noemt Google als optie voor modellen met multi-head latent attention, zoals DeepSeek, of wanneer het aantal hoofden niet deelbaar is.
USP combineert twee communicatierichtingen
USP gebruikt zowel all-to-all-verkeer als een ring om gegevens tussen chips te verdelen. De animatie laat zien hoe blokken met query-, key- en value-gegevens tussen vier apparaten bewegen.
Welke resultaten Google rapporteert
Google zegt dat MaxText-training op TPU 5p en TPU 7 reeksen tot 14 miljoen tokens heeft bereikt. In een afzonderlijke vergelijking met 64 chips rapporteert Google bij 14 miljoen tokens een Model FLOPs Utilization (MFU) van 48,7% op TPU 7 en 37,1% op TPU 5p. MFU drukt uit welk deel van de theoretische rekenkracht wordt benut. Google meldt daarnaast een MFU van 50% op TPU 7 bij reeksen korter dan 6 miljoen tokens.
Google vermeldt dat TPU 7 per chip tweemaal zoveel HBM heeft als TPU 5p. Dat is relevant bij lange reeksen, omdat de geheugencapaciteit mede bepaalt welke strategie past. De gerapporteerde resultaten gelden voor de beschreven runs en chipconfiguraties.
Instellingen en geheugenbeheer
Google beschrijft twee keuzes voor de configuratie: context_parallel_strategy instellen en de grootte van het contextparallellisme bepalen. De aankondiging verwijst naar voorbeeldrecepten voor Llama 3.1 8B op TPU 5p en TPU 7. MaxText v0.2.4 was volgens Google beschikbaar via PyPI, Docker-images en GitHub main.
Bij geheugendruk adviseert Google tensors in deze volgorde naar hostgeheugen te verplaatsen: eerst de outputs van aandacht, daarna de optimizerstatussen, de laaginputs en de parameters. Rematerialisatie, waarbij tussenresultaten opnieuw worden berekend in plaats van opgeslagen, staat als laatste optie.