O paralelismo de contexto divide uma sequência entre vários chips e coordena a troca de dados necessária para calcular a atenção. Em 9 de novembro de 2026, o Google anunciou esse recurso no MaxText v0.2.4 para Cloud TPU, com quatro estratégias que diferem em uso de memória, comunicação e compatibilidade com a estrutura de cabeças do modelo. O anúncio do Google também relata execuções de até 14 milhões de tokens em TPU 5p e TPU 7.
A ideia é distribuir o trabalho: em vez de cada chip lidar com toda a sequência, cada um processa uma parte e compartilha, quando necessário, chaves e valores usados no cálculo da atenção. Isso permite treinar sequências mais longas, mas a estratégia escolhida influencia a memória necessária e o tráfego entre chips.
Como as quatro estratégias distribuem o trabalho
A memória de alta largura de banda (HBM) é a memória rápida do acelerador. O formato das cabeças de atenção e a quantidade de dados de chaves e valores que cabem nessa memória ajudam a determinar qual estratégia faz sentido.
| Estratégia | Como distribui chaves e valores | Vantagem descrita pelo Google | Limite ou condição |
| All-gather | Cada chip reúne chaves e valores dos demais a cada camada. | É a opção mais simples quando os dados reunidos cabem na HBM. | A memória necessária cresce com a sequência; o balanceamento de carga é importante porque a máscara causal deixa os tokens posteriores com prefixos maiores para processar. |
| A2A/Ulysses | Redistribui tokens e cabeças antes da atenção e reorganiza a saída depois do cálculo. | Reduz a memória de chaves e valores por chip conforme aumenta o fator de paralelismo. | O fator depende das cabeças de atenção ou de chaves e valores; a comunicação A2A não se sobrepõe ao cálculo da atenção. O Google informa que a estratégia não oferece suporte a atenção multi-query. |
| P2P/Ring Attention | Envia blocos de chaves e valores entre chips vizinhos em um anel. | Sobrepõe comunicação e cálculo sem materializar a sequência inteira em cada chip. | Exige balanceamento de carga; blocos menores podem reduzir a eficiência dos kernels locais. |
| USP | Combina A2A e P2P em dois eixos da malha de chips da TPU. | Usa a troca A2A e estende a distribuição com o anel P2P. | O fator A2A continua limitado pela quantidade de cabeças de chaves e valores; o Google recomenda considerar USP quando elas permitem um fator A2A de pelo menos 2. |
Na prática, se todos os dados reunidos couberem na HBM, o Google recomenda considerar All-gather. Quando essa memória não for suficiente, a família baseada em anel evita manter a sequência completa em cada chip. A escolha entre USP e P2P depende, entre outros fatores, das cabeças de chaves e valores: o Google recomenda USP quando elas permitem um fator A2A de pelo menos 2 e cita P2P para modelos com atenção latente multi-cabeça, como DeepSeek, ou quando a contagem de cabeças não se divide pelo fator A2A.
As quatro estratégias usam o Tokamax Splash Attention. Segundo o Google, esse kernel esparso por blocos ignora blocos totalmente mascarados e processa sequências empacotadas sem preenchimento adicional.
O que os números relatados pelo Google indicam
O Google relata treinamento com sequências de até 14 milhões de tokens em TPU 5p e TPU 7. Esse número se refere às execuções descritas pela empresa, não a uma capacidade garantida para qualquer modelo ou configuração.
A empresa também informa utilização das operações de ponto flutuante do modelo (Model FLOPs Utilization, ou MFU) de 50% em TPU 7 para sequências abaixo de 6 milhões de tokens. Em outra comparação, para treinamento P2P com sequências de 14 milhões de tokens em execuções com 64 chips, o Google relata MFU de 48,7% em TPU 7 e 37,1% em TPU 5p. São resultados de escopos distintos; cada número depende da configuração e do comprimento de sequência descritos no anúncio.
Configuração e gestão de memória
O MaxText v0.2.4 foi disponibilizado pelo Google via PyPI, imagens Docker e GitHub main. Para configurar o paralelismo, o anúncio orienta escolher context_parallel_strategy e definir o tamanho do paralelismo de contexto; também aponta receitas de exemplo para Llama 3.1 8B em TPU 5p e TPU 7.
Se a memória apertar, a ordem de offloading recomendada pelo Google é transferir primeiro as saídas de atenção para a memória do host, depois os estados do otimizador, as entradas das camadas e os parâmetros. A rematerialização fica por último: ela recalcula valores intermediários em vez de mantê-los armazenados.