Google kündigte am 9. November 2026 an, dass MaxText v0.2.4 Langkontext-Training auf Cloud TPU mit vier Strategien für Parallelität über den Kontext unterstützt: All-gather, A2A/Ulysses, P2P/Ring Attention und Unified Sequence Parallelism (USP). Dabei wird eine lange Tokenfolge auf mehrere Chips verteilt, die für die Aufmerksamkeitsberechnung Schlüssel- und Wertdaten austauschen oder weiterreichen. Googles Ankündigung zu MaxText
Der praktische Unterschied: Je nach Strategie liegen mehr oder weniger Schlüssel- und Wertdaten gleichzeitig im Speicher eines Chips, und die Datenübertragung beansprucht unterschiedlich viel Zeit. Google empfiehlt deshalb, zuerst zu prüfen, ob die zusammengetragenen Daten in den High-Bandwidth Memory (HBM) passen und welche Aufmerksamkeitsköpfe das Modell hat.
Wie die vier Strategien Daten verteilen
Bei der Aufmerksamkeit verarbeitet das Modell Abfragen (Q) zusammen mit Schlüsseln und Werten (K/V). Kontextparallelität teilt die Sequenz zwischen Chips auf; die Strategie bestimmt, wie diese Chips die benötigten K/V-Daten erhalten.
| Strategie | Verteilung der K/V-Daten | Beschriebener Vorteil | Bedingung oder Grenze |
| All-gather | Jeder Chip sammelt auf jeder Schicht die Schlüssel und Werte der übrigen Chips ein. | Einfach, wenn die zusammengetragenen K/V-Daten in den HBM passen. | Der Speicherbedarf wächst mit der gesamten Sequenz. Wegen der kausalen Maske muss die Rechenlast ausgeglichen werden. |
| A2A/Ulysses | Die Aufteilung von Tokens und Aufmerksamkeitsköpfen wird vor der Aufmerksamkeit umverteilt und danach zurückgedreht. | Der K/V-Speicherbedarf pro Chip sinkt mit dem Parallelitätsfaktor. | Der Faktor ist durch die Zahl der Aufmerksamkeits- beziehungsweise K/V-Köpfe begrenzt. Die A2A-Kommunikation überlappt sich nicht mit der Aufmerksamkeitsberechnung; Multi-Query Attention wird laut Google nicht unterstützt. |
| P2P/Ring Attention | K/V-Blöcke wandern zwischen benachbarten Chips im Ring weiter. | Übertragung und Berechnung können parallel laufen; kein Chip muss die ganze Sequenz im Speicher halten. | Die Last muss ausgeglichen werden. Kleine Blöcke können die Effizienz der lokalen Rechenkerne senken. |
| USP | Verbindet A2A und P2P entlang zweier Achsen des TPU-Chipnetzes. | Die Kombination kann größere Blöcke und damit weniger Ring-Schritte ermöglichen. | Der A2A-Anteil bleibt durch die Zahl der K/V-Köpfe beschränkt; Google empfiehlt USP, wenn ein A2A-Faktor von mindestens 2 möglich ist. |
Wenn die gesammelten K/V-Daten in den HBM passen, nennt Google All-gather als einfache Wahl. A2A/Ulysses eignet sich laut Empfehlung für eine begrenzte Zahl von Chips, bis zur Grenze der K/V-Köpfe. Passt der Datensatz nicht in den Speicher, kommen Ring-Verfahren infrage: USP, wenn die Kopfstruktur einen A2A-Faktor von mindestens 2 zulässt, andernfalls P2P. Google nennt P2P außerdem für Modelle mit Multi-Head Latent Attention wie DeepSeek oder wenn sich die Kopfzahl nicht passend aufteilen lässt.
Für die Strategiewahl zuerst den K/V-Speicherbedarf prüfen; danach entscheidet die Kopfstruktur, ob A2A allein oder zusammen mit dem Ring-Verfahren infrage kommt.
USP kombiniert die beiden Kommunikationswege: A2A verteilt Daten zwischen Chips, P2P reicht weitere Blöcke im Ring weiter.
Alle vier Verfahren nutzen laut Google den Tokamax-Splash-Attention-Kernel. Er überspringt vollständig maskierte Blöcke und verarbeitet gepackte Sequenzen ohne zusätzliches Padding.
Welche Leistungswerte Google berichtet
Google berichtet von Trainingsläufen mit Sequenzen von bis zu 14 Millionen Tokens auf TPU 5p und TPU 7. Die Angabe bezieht sich auf die beschriebenen Läufe und ist keine Zusage für jedes Modell oder jede TPU-Konfiguration. Für TPU 7 nennt Google außerdem 50 Prozent Model FLOPs Utilization (MFU) bei Sequenzlängen unter 6 Millionen Tokens. MFU beschreibt, welcher Anteil der theoretischen Rechenleistung bei der Modellberechnung genutzt wird.
Für P2P-Läufe mit 14 Millionen Tokens auf 64 Chips gibt Google 48,7 Prozent MFU auf TPU 7 und 37,1 Prozent auf TPU 5p an. Google zufolge hat TPU 7 pro Chip doppelt so viel HBM wie TPU 5p. Die Werte sind von Google berichtete Benchmark-Ergebnisse.
Konfiguration und Speicher
Google beschreibt die Unterstützung für MaxText v0.2.4 über PyPI, Docker-Images und den GitHub-Hauptzweig. Für die Einrichtung wählen Nutzer die Strategie über context_parallel_strategy und legen die Größe der Kontextparallelität fest. Die Anleitung nennt ring, ulysses und usp als Strategiebezeichnungen; Google verlinkt außerdem Beispielrezepte für Llama 3.1 8B auf TPU 5p und TPU 7.
Bei knappem Gerätespeicher empfiehlt Google, gespeicherte Daten der Reihe nach in den Host-Speicher auszulagern: zuerst Ausgaben der Aufmerksamkeit, danach Optimiererzustände, Eingaben der Schichten und Parameter. Rematerialisierung, bei der Zwischenergebnisse erneut berechnet werden, steht zuletzt.