Il parallelismo di contesto divide una sequenza di token tra più chip: ciascuno elabora una parte e scambia i dati chiave e valore necessari al meccanismo di attenzione. In MaxText v0.2.4, Google ha reso disponibile questa modalità per Cloud TPU con quattro strategie, annunciate il 9 novembre 2026: All-gather, A2A/Ulysses, P2P/Ring Attention e Unified Sequence Parallelism (USP). Google illustra le strategie e i risultati riportati.
La strategia scelta determina quanta memoria ad alta banda (HBM) serve su ogni chip e come i dati si spostano durante il calcolo. Perciò, una lunghezza di sequenza elevata non basta da sola a indicare quale metodo convenga.
Come si distribuiscono i dati tra i chip
Nei modelli Transformer, l’attenzione usa query, chiavi e valori. Quando una sequenza è distribuita, i chip devono scambiarsi le chiavi e i valori necessari a elaborare le proprie porzioni. Le quattro opzioni di MaxText differiscono soprattutto per quanta parte dei dati ciascun chip raccoglie e per il modo in cui coordina lo scambio.
| Strategia | Distribuzione di chiavi e valori | Vantaggio descritto da Google | Vincolo principale |
| All-gather | Ogni chip raccoglie a ogni livello chiavi e valori dagli altri chip. | È l’opzione più semplice quando i dati raccolti entrano nella HBM. | La memoria richiesta cresce con la sequenza completa; serve bilanciare il carico di calcolo. |
| A2A/Ulysses | Ridistribuisce token e teste di attenzione prima del calcolo e riporta poi i risultati alla ripartizione iniziale. | Riduce i dati chiave e valore gestiti da ciascun chip e permette di usare kernel di attenzione standard dopo la ridistribuzione. | Il parallelismo è limitato dalle teste disponibili; lo scambio all-to-all non si sovrappone al calcolo e la strategia non supporta l’attenzione multi-query. |
| P2P/Ring Attention | Trasmette blocchi di chiavi e valori tra chip vicini lungo un anello. | Sovrappone comunicazione e calcolo senza richiedere a un chip di materializzare l’intera sequenza. | Richiede bilanciamento del carico; blocchi piccoli possono ridurre l’efficienza dei kernel locali. |
| USP | Combina scambi A2A e P2P su due assi della rete di chip. | Estende l’uso dell’anello oltre il fattore A2A, consentendo blocchi più grandi e meno passaggi nell’anello. | Il fattore A2A resta vincolato al numero di teste chiave-valore e la strategia va mappata sulla rete TPU. |
Quale strategia considerare
La prima distinzione pratica è la memoria: se i dati chiave e valore raccolti entrano nella HBM, Google indica All-gather come scelta semplice. Se non ci stanno, suggerisce di considerare le strategie ad anello, che trasmettono i dati a blocchi invece di raccogliere l’intera sequenza su ogni chip.
A quel punto conta la struttura delle teste chiave-valore del modello. Google consiglia USP quando consente un fattore A2A di almeno 2, con l’anello a estendere il parallelismo oltre quel fattore. P2P da solo è indicato per modelli con attenzione latente multi-testa, come DeepSeek, o quando il numero di teste non si divide nel modo richiesto. A2A/Ulysses, invece, è limitato dal numero di teste e non supporta l’attenzione multi-query.
Le lunghezze e le prestazioni riportate da Google
Google riporta addestramenti con sequenze fino a 14 milioni di token su TPU 5p e TPU 7. Per un confronto P2P a quella lunghezza, eseguito su 64 chip, l’azienda indica una MFU (Model FLOPs Utilization, cioè l’utilizzo delle operazioni in virgola mobile del modello) del 48,7% su TPU 7 e del 37,1% su TPU 5p. Nell’annuncio, Google riporta anche una MFU del 50% su TPU 7 per sequenze inferiori a 6 milioni di token.
Google precisa che TPU 7 ha il doppio della HBM per chip rispetto a TPU 5p. Le percentuali citate descrivono le configurazioni e le lunghezze di sequenza specificate, non un risultato uniforme per ogni modello o configurazione TPU.
Per scegliere il parallelismo di contesto, parti da due vincoli concreti: quanta memoria richiedono i dati chiave-valore raccolti e quante teste del modello possono essere suddivise.
Configurazione e gestione della memoria
Google indica di scegliere context_parallel_strategy e impostare la dimensione del parallelismo di contesto. MaxText v0.2.4 è disponibile tramite PyPI, immagini Docker e il ramo main di GitHub; l’annuncio rimanda anche a ricette di esempio per Llama 3.1 8B su TPU 5p e TPU 7.
Quando la memoria è sotto pressione, l’ordine di offload suggerito da Google è spostare in memoria host prima le uscite dell’attenzione, poi gli stati dell’ottimizzatore, gli ingressi dei layer e i parametri. La rimaterializzazione, cioè ricalcolare i tensori invece di conservarli, viene per ultima.