El paralelismo de contexto divide una secuencia entre varios chips y coordina los datos que necesitan para calcular la atención. Google anunció esta capacidad para MaxText v0.2.4 en Cloud TPU el 9 de noviembre de 2026, con cuatro estrategias: All-gather, A2A/Ulysses, P2P/Ring Attention y Unified Sequence Parallelism (USP). La elección cambia cuánta memoria ocupa cada chip y cómo intercambian datos los chips, como explica el anuncio de Google sobre MaxText.

En una secuencia larga, almacenar todos los datos de atención en cada chip puede exigir mucha memoria. MaxText reparte el trabajo; sus cuatro métodos se distinguen por cuánto reúnen esos datos, cómo los mueven y qué límites impone la arquitectura del modelo.

Cómo se reparte la atención entre chips

La atención relaciona las consultas (Q) con las claves y los valores (K/V) que permiten calcular qué información debe utilizar el modelo. El paralelismo de contexto distribuye partes de la secuencia entre chips y coordina el intercambio de K/V necesario para que cada parte procese la atención.

Las cuatro estrategias usan Tokamax Splash Attention. Google describe este núcleo de cálculo como capaz de saltarse bloques completamente enmascarados y procesar secuencias empaquetadas sin añadir relleno. La diferencia entre estrategias está en cómo circulan los datos alrededor de ese cálculo.

EstrategiaCómo distribuye claves y valoresVentaja descritaLímite o condición
All-gatherCada chip reúne claves y valores de los demás en cada capa.Es sencilla y puede ser la más rápida, o casi, cuando los datos reunidos caben en la memoria HBM.La memoria crece con la secuencia completa; la máscara causal requiere equilibrar la carga de cálculo.
A2A/UlyssesReorganiza el reparto de tokens y cabezas antes de la atención y vuelve a distribuir las salidas después.Reduce los datos K/V por chip según el factor de paralelismo y permite usar núcleos de atención convencionales.El factor está limitado por las cabezas de atención o K/V; el intercambio no se solapa con el cálculo y no admite atención multi-query.
P2P/Ring AttentionEnvía bloques K/V entre chips vecinos siguiendo un anillo.Solapa comunicación y cálculo, sin que un chip tenga que reunir la secuencia completa.Requiere equilibrar la carga; los bloques pequeños pueden reducir la eficiencia del núcleo local.
USPCombina A2A y P2P en dos ejes de la malla de chips del TPU.Combina la redistribución A2A con el anillo; permite bloques más largos y menos saltos por el anillo.El factor A2A sigue limitado por las cabezas K/V y hay que asignar ambas rutas a la malla del TPU.

La memoria de gran ancho de banda (HBM) y las cabezas K/V del modelo orientan la elección. Google recomienda All-gather cuando los datos K/V reunidos caben en HBM; si no caben, propone las estrategias de anillo. USP encaja cuando las cabezas K/V permiten un factor A2A de al menos 2. P2P puede ser la opción adecuada para modelos con atención latente multi-cabeza, como DeepSeek, o cuando el número de cabezas no se divide de forma compatible.

Si los datos K/V caben en HBM, All-gather ofrece una ruta sencilla; cuando la memoria aprieta, conviene evaluar las opciones de anillo y comprobar si las cabezas del modelo permiten USP.

Qué cambia en la práctica con USP

Animación esquemática del intercambio de Q y K/V entre cuatro dispositivos mediante las rutas A2A y P2P.

USP combina la redistribución de A2A con el intercambio por anillo de P2P. En lugar de depender de una sola ruta de comunicación, reparte esas operaciones en dos ejes de la malla de chips. La animación representa el movimiento de Q y K/V por ambas rutas entre cuatro dispositivos.

La animación ilustra el reparto de datos; la decisión de usar USP depende de que la estructura de cabezas del modelo permita el factor A2A recomendado. Si no lo permite, Google señala P2P como alternativa para los casos indicados.

Qué resultados comunica Google

Google informa de ejecuciones con secuencias de hasta 14 millones de tokens en TPU 5p y TPU 7. En una comparación de entrenamiento P2P a esa longitud, con 64 chips, comunica un 48,7 % de utilización de FLOPs del modelo (MFU) en TPU 7 y un 37,1 % en TPU 5p. También informa de un 50 % de MFU en TPU 7 para secuencias de menos de 6 millones de tokens.

La compañía indica además que TPU 7 tiene el doble de HBM por chip que TPU 5p. Las cifras describen los resultados y el hardware que Google detalla; no son una garantía de que cualquier modelo o configuración alcance 14 millones de tokens.

Configuración y gestión de memoria

Google describe la elección de context_parallel_strategy y el ajuste del tamaño del paralelismo de contexto como pasos de configuración. El anuncio incluye recetas de ejemplo para Llama 3.1 8B en TPU 5p y TPU 7, y presenta MaxText v0.2.4 como disponible mediante PyPI, imágenes Docker y GitHub main.

Si la memoria sigue siendo un límite, el orden de descarga recomendado por Google es: salidas de atención, estados del optimizador, entradas de capa y parámetros. La rematerialización —recalcular valores en lugar de conservarlos— queda como último recurso.