Równoległość kontekstu dzieli długą sekwencję między układy Cloud TPU i rozdziela między nie dane potrzebne do obliczeń uwagi. 9 listopada 2026 r. Google ogłosiło obsługę tej metody w MaxText v0.2.4, opisując cztery strategie o różnych wymaganiach dotyczących pamięci, komunikacji i budowy modelu (ogłoszenie Google).
Dzięki podziałowi pojedynczy układ nie musi przechowywać danych dla całej sekwencji. To, jak układy wymieniają klucze i wartości (KV) wykorzystywane przez mechanizm uwagi, decyduje jednak o zużyciu pamięci i ruchu między nimi.
Przy wyborze zacznij od sprawdzenia, czy pełny zestaw danych KV mieści się w pamięci HBM; potem uwzględnij liczbę głów KV w modelu.
Cztery strategie i ich kompromisy
Google opisuje cztery metody: All-gather, A2A (DeepSpeed Ulysses), P2P (Ring Attention) oraz połączenie A2A i P2P, czyli Unified Sequence Parallelism (USP). Wybór zależy przede wszystkim od tego, czy zebrane dane KV mieszczą się w pamięci o wysokiej przepustowości (HBM), oraz od liczby głów KV w modelu.
| Strategia | Jak rozdziela dane | Opisana zaleta | Ograniczenie lub warunek |
| All-gather | Każdy układ zbiera klucze i wartości z pozostałych układów na każdej warstwie. | Najprostsza metoda, gdy zebrane dane KV mieszczą się w HBM. | Pamięć rośnie wraz z długością sekwencji; potrzebne jest równoważenie obciążenia obliczeniowego. |
| A2A / Ulysses | Przed obliczeniami uwagi zmienia podział tokenów i głów, a po nich odtwarza podział wyników. | Zmniejsza ilość danych KV przypadających na układ wraz ze wzrostem stopnia równoległości. | Stopień równoległości ogranicza liczba głów uwagi lub KV; wymiana A2A nie nakłada się na obliczenia uwagi. Metoda nie obsługuje multi-query attention. |
| P2P / Ring Attention | Przesyła bloki kluczy i wartości między sąsiednimi układami w pierścieniu. | Nie wymaga umieszczania całej sekwencji na jednym układzie, a przesyłanie danych może przebiegać równolegle z obliczeniami. | Wymaga równoważenia obciążenia; zbyt małe bloki mogą obniżyć wydajność lokalnych operacji. |
| USP | Łączy wymianę A2A z ruchem P2P na dwóch osiach siatki układów TPU. | Pozwala używać dłuższych bloków i ograniczyć liczbę skoków w pierścieniu. | Część A2A nadal ogranicza liczba głów KV; Google zaleca ją, gdy model pozwala na czynnik A2A wynoszący co najmniej 2. |
Gdy zebrane dane KV mieszczą się w HBM, Google wskazuje All-gather jako prosty wybór. A2A pasuje do mniejszej liczby układów, nieprzekraczającej limitu wyznaczonego przez głowy modelu. Jeśli dane KV nie mieszczą się w pamięci, Google zaleca strategie pierścieniowe: USP, gdy głowy KV pozwalają na czynnik A2A co najmniej 2, albo samo P2P w modelach z wielogłowową uwagą latentną, takich jak DeepSeek, oraz wtedy, gdy liczba głów nie dzieli się odpowiednio.
Animacja ilustruje wymianę danych A2A i P2P między czterema układami, łączącą się w USP.
Wszystkie cztery strategie korzystają z Tokamax Splash Attention. Google opisuje ten mechanizm jako zdolny do pomijania w pełni zamaskowanych bloków oraz obsługi spakowanych sekwencji bez dopełniania ich pustymi tokenami.
Jakie wyniki podaje Google
Google informuje o trenowaniu sekwencji o długości do 14 milionów tokenów na TPU 5p i TPU 7. W osobnym wyniku dla TPU 7 firma podaje 50% MFU przy sekwencjach krótszych niż 6 milionów tokenów. MFU, czyli Model FLOPs Utilization, to raportowany wskaźnik wykorzystania obliczeń modelu.
Dla treningu P2P przy 14 milionach tokenów Google podaje 48,7% MFU na 64 układach TPU 7 i 37,1% na TPU 5p. W tym porównaniu TPU 7 ma, według firmy, dwukrotnie więcej HBM na układ niż TPU 5p. Są to wyniki przedstawione przez Google dla opisanych konfiguracji, a nie obietnica osiągnięcia takiej długości sekwencji przez dowolny model lub układ.
Konfiguracja i pamięć
MaxText v0.2.4 Google udostępniło przez PyPI, obrazy Dockera i główną gałąź GitHub. W konfiguracji należy wybrać context_parallel_strategy i ustawić rozmiar równoległości kontekstu; ogłoszenie wskazuje przykładowe przepisy dla Llama 3.1 8B na TPU 5p i TPU 7.
Przy presji na pamięć Google zaleca kolejno przenosić poza nią wyniki uwagi, stany optymalizatora, wejścia warstw i parametry. Rematerializację pozostawia jako ostatnią opcję.