Równoległość kontekstu dzieli długą sekwencję między układy Cloud TPU i rozdziela między nie dane potrzebne do obliczeń uwagi. 9 listopada 2026 r. Google ogłosiło obsługę tej metody w MaxText v0.2.4, opisując cztery strategie o różnych wymaganiach dotyczących pamięci, komunikacji i budowy modelu (ogłoszenie Google).

Dzięki podziałowi pojedynczy układ nie musi przechowywać danych dla całej sekwencji. To, jak układy wymieniają klucze i wartości (KV) wykorzystywane przez mechanizm uwagi, decyduje jednak o zużyciu pamięci i ruchu między nimi.

Przy wyborze zacznij od sprawdzenia, czy pełny zestaw danych KV mieści się w pamięci HBM; potem uwzględnij liczbę głów KV w modelu.

Cztery strategie i ich kompromisy

Animacja pokazująca przepływ danych A2A i P2P między czterema układami

Google opisuje cztery metody: All-gather, A2A (DeepSpeed Ulysses), P2P (Ring Attention) oraz połączenie A2A i P2P, czyli Unified Sequence Parallelism (USP). Wybór zależy przede wszystkim od tego, czy zebrane dane KV mieszczą się w pamięci o wysokiej przepustowości (HBM), oraz od liczby głów KV w modelu.

StrategiaJak rozdziela daneOpisana zaletaOgraniczenie lub warunek
All-gatherKażdy układ zbiera klucze i wartości z pozostałych układów na każdej warstwie.Najprostsza metoda, gdy zebrane dane KV mieszczą się w HBM.Pamięć rośnie wraz z długością sekwencji; potrzebne jest równoważenie obciążenia obliczeniowego.
A2A / UlyssesPrzed obliczeniami uwagi zmienia podział tokenów i głów, a po nich odtwarza podział wyników.Zmniejsza ilość danych KV przypadających na układ wraz ze wzrostem stopnia równoległości.Stopień równoległości ogranicza liczba głów uwagi lub KV; wymiana A2A nie nakłada się na obliczenia uwagi. Metoda nie obsługuje multi-query attention.
P2P / Ring AttentionPrzesyła bloki kluczy i wartości między sąsiednimi układami w pierścieniu.Nie wymaga umieszczania całej sekwencji na jednym układzie, a przesyłanie danych może przebiegać równolegle z obliczeniami.Wymaga równoważenia obciążenia; zbyt małe bloki mogą obniżyć wydajność lokalnych operacji.
USPŁączy wymianę A2A z ruchem P2P na dwóch osiach siatki układów TPU.Pozwala używać dłuższych bloków i ograniczyć liczbę skoków w pierścieniu.Część A2A nadal ogranicza liczba głów KV; Google zaleca ją, gdy model pozwala na czynnik A2A wynoszący co najmniej 2.

Gdy zebrane dane KV mieszczą się w HBM, Google wskazuje All-gather jako prosty wybór. A2A pasuje do mniejszej liczby układów, nieprzekraczającej limitu wyznaczonego przez głowy modelu. Jeśli dane KV nie mieszczą się w pamięci, Google zaleca strategie pierścieniowe: USP, gdy głowy KV pozwalają na czynnik A2A co najmniej 2, albo samo P2P w modelach z wielogłowową uwagą latentną, takich jak DeepSeek, oraz wtedy, gdy liczba głów nie dzieli się odpowiednio.

Animacja ilustruje wymianę danych A2A i P2P między czterema układami, łączącą się w USP.

Wszystkie cztery strategie korzystają z Tokamax Splash Attention. Google opisuje ten mechanizm jako zdolny do pomijania w pełni zamaskowanych bloków oraz obsługi spakowanych sekwencji bez dopełniania ich pustymi tokenami.

Jakie wyniki podaje Google

Google informuje o trenowaniu sekwencji o długości do 14 milionów tokenów na TPU 5p i TPU 7. W osobnym wyniku dla TPU 7 firma podaje 50% MFU przy sekwencjach krótszych niż 6 milionów tokenów. MFU, czyli Model FLOPs Utilization, to raportowany wskaźnik wykorzystania obliczeń modelu.

Dla treningu P2P przy 14 milionach tokenów Google podaje 48,7% MFU na 64 układach TPU 7 i 37,1% na TPU 5p. W tym porównaniu TPU 7 ma, według firmy, dwukrotnie więcej HBM na układ niż TPU 5p. Są to wyniki przedstawione przez Google dla opisanych konfiguracji, a nie obietnica osiągnięcia takiej długości sekwencji przez dowolny model lub układ.

Konfiguracja i pamięć

MaxText v0.2.4 Google udostępniło przez PyPI, obrazy Dockera i główną gałąź GitHub. W konfiguracji należy wybrać context_parallel_strategy i ustawić rozmiar równoległości kontekstu; ogłoszenie wskazuje przykładowe przepisy dla Llama 3.1 8B na TPU 5p i TPU 7.

Przy presji na pamięć Google zaleca kolejno przenosić poza nią wyniki uwagi, stany optymalizatora, wejścia warstw i parametry. Rematerializację pozostawia jako ostatnią opcję.