Le parallélisme de contexte répartit les tokens d’une séquence entre plusieurs puces, qui échangent les clés et les valeurs nécessaires au mécanisme d’attention. Le 9 novembre 2026, Google a annoncé quatre méthodes pour l’entraînement de longs contextes dans MaxText v0.2.4 sur Cloud TPU. Elles arbitrent différemment entre mémoire locale, échanges entre puces et structure des têtes du modèle, explique l’annonce de Google.

Pour choisir une stratégie, commencez par vérifier si les données clés-valeurs rassemblées tiennent dans la mémoire HBM, puis tenez compte du nombre de têtes du modèle.

Comment MaxText répartit le calcul

En attention, les requêtes (queries, Q) sont comparées aux clés (K), puis servent à pondérer les valeurs (V). Les données K et V sont souvent désignées ensemble par KV. Avec le parallélisme de contexte, chaque puce traite une partie de la séquence; la stratégie choisie détermine comment elle reçoit les KV nécessaires aux calculs. MaxText peut aussi combiner cette approche avec le parallélisme de données et le parallélisme tensoriel.

Les quatre stratégies de l’annonce utilisent Tokamax Splash Attention. Google décrit ce noyau comme capable d’ignorer les blocs entièrement masqués et de traiter des séquences compactées sans remplissage. La mémoire à large bande passante des accélérateurs, ou HBM, est un autre facteur déterminant : elle doit accueillir les données que chaque méthode conserve localement.

Quatre stratégies et leurs compromis

Animation schématique des échanges A2A et P2P entre quatre puces, avec des blocs Q et K/V qui circulent.
StratégieRépartition des donnéesAtout décrit par GoogleLimite ou condition
All-gatherChaque puce rassemble les clés et les valeurs des autres puces à chaque couche.Une méthode simple lorsque les KV rassemblés tiennent dans la HBM.La mémoire nécessaire croît avec la séquence; l’équilibrage de charge doit tenir compte du masque causal.
A2A (DeepSpeed Ulysses)Redistribue les tokens et les têtes avant l’attention, puis réorganise les sorties.La mémoire KV par puce diminue avec le facteur de parallélisme.Le facteur dépend du nombre de têtes; les échanges A2A ne se superposent pas au calcul d’attention. La méthode ne prend pas en charge l’attention multi-requêtes.
P2P (Ring Attention)Fait circuler les blocs KV entre puces voisines en anneau.Les transferts peuvent se dérouler en même temps que le calcul; aucune puce ne matérialise toute la séquence.L’équilibrage de charge est nécessaire et de petits blocs peuvent réduire l’efficacité des noyaux locaux.
USP (A2A + P2P)Combine les échanges A2A et la circulation en anneau sur deux axes du maillage de puces.Peut utiliser des blocs plus longs et réduire le nombre de passages dans l’anneau.La partie A2A reste limitée par le nombre de têtes KV et la répartition des communications sur le maillage TPU.

Pour décider, Google recommande All-gather lorsque les KV rassemblés tiennent en HBM. Si ce n’est plus le cas, les méthodes en anneau deviennent pertinentes. USP est à considérer lorsque la structure des têtes KV permet un facteur A2A d’au moins 2; Google cite P2P seul pour les modèles à attention latente multi-têtes, comme DeepSeek, ou lorsque le nombre de têtes ne se divise pas comme requis.

Les résultats rapportés par Google

Google indique avoir entraîné des séquences allant jusqu’à 14 millions de tokens sur TPU 5p et TPU 7. Pour les séquences de moins de 6 millions de tokens, l’entreprise rapporte une utilisation des capacités de calcul du modèle (MFU, Model FLOPs Utilization) de 50 % sur TPU 7. Dans une comparaison à 14 millions de tokens sur 64 puces, Google rapporte 48,7 % de MFU sur TPU 7 et 37,1 % sur TPU 5p. L’annonce précise que la HBM par puce est deux fois plus importante sur TPU 7 que sur TPU 5p.

Réglages et gestion de la mémoire

Google décrit MaxText v0.2.4 comme disponible via PyPI, des images Docker et la branche principale de GitHub. Les recettes d’exemple pour TPU 5p et TPU 7 demandent de choisir context_parallel_strategy et de régler la taille du parallélisme de contexte.

Quand la mémoire est sous pression, Google recommande de décharger vers la mémoire hôte, dans cet ordre, les sorties d’attention, les états de l’optimiseur, les entrées de couche, puis les paramètres. La rematérialisation — recalculer des valeurs intermédiaires plutôt que les conserver en mémoire — vient en dernier.