Le 9 novembre 2026, Google a annoncé la disponibilité générale de Cloud Pathways sur Google Kubernetes Engine (GKE). Ce runtime d’apprentissage automatique permet à un client JAX de coordonner des charges de travail sur plusieurs tranches de TPU. Google a annoncé séparément en Preview l’intégration de Pathways aux clusters TPU Slurm gérés par Cluster Director : cette annonce ne concerne pas le même déploiement que la disponibilité générale sur GKE. Google Cloud
Un client JAX pour coordonner plusieurs tranches TPU
Avec le JAX multi-contrôleur par défaut, plusieurs processus Python participent au calcul, et chaque processus voit les appareils auxquels son hôte est connecté. Cloud Pathways adopte un modèle à contrôleur unique : un client JAX dispose d’une vue unifiée des appareils et coordonne le travail entre plusieurs tranches TPU. La documentation Google décrit cette différence d’architecture.
| Dimension | JAX multi-contrôleur par défaut | Cloud Pathways à contrôleur unique |
| Contrôle | Plusieurs processus Python participent au calcul. | Un client JAX coordonne le système. |
| Vue des appareils | Chaque processus voit les appareils connectés à son hôte. | Le client JAX dispose d’une vue unifiée des appareils sur plusieurs tranches TPU. |
| Modèle de programmation | L’approche repose principalement sur le parallélisme SPMD, où les appareils exécutent le même programme. | Google indique que Pathways prend aussi en charge des modèles comme le parallélisme en pipeline asymétrique et la parcimonie de calcul. |
Cette orchestration vise les charges de grande ampleur réparties sur plusieurs tranches, plutôt qu’un usage généraliste. La pile s’appuie sur Interim Framework Runtime (IFRT), un environnement d’exécution open source. Google cite aussi des sidecars Python installés à proximité des TPU, un cache de compilation persistant dans Cloud Storage et l’envoi asynchrone d’opérations XLA HLO parmi les fonctions du runtime. Google présente également l’entraînement élastique : en cas de panne matérielle, des instantanés en mémoire hôte doivent permettre de redistribuer le travail sur N−1 tranches sans faire planter le client.
Pour la disponibilité générale sur GKE, Google a cité les régions Google Cloud qui prennent en charge Cloud TPU v5e, TPU v5p, Trillium (TPU v6e) et Ironwood (TPU 7x). Les images Cloud Pathways versionnées annoncées prennent en charge JAX 0.10.1 et les versions ultérieures.
Ce qu’exige la configuration GKE décrite par Google
La procédure de déploiement demande la CLI gcloud, kubectl, le module gke-gcloud-auth-plugin, l’accès à l’API Kubernetes Engine et un quota TPU suffisant ou une réservation. L’exemple manuel de Google crée des pools de nœuds TPU et CPU, installe l’API JobSet et utilise Cloud Storage pour les fichiers temporaires et le cache de compilation. Pour la configuration de métadonnées de nœuds de cet exemple, Google demande d’accorder au compte de service des nœuds le rôle roles/storage.objectAdmin sur le compartiment. Le guide de déploiement GKE détaille ces étapes.
L’exemple utilise des tranches TPU v6e en topologie 2x4, avec deux nœuds par tranche et un pool CPU pour l’en-tête Pathways. Ce sont les paramètres de cet exemple de déploiement. Le guide précise que la création du cluster et des pools TPU et CPU entraîne des frais, et recommande de supprimer le cluster une fois le travail terminé pour éviter de continuer à payer les ressources provisionnées.
Avant de lancer le déploiement, vérifiez le quota TPU ou la réservation : le cluster et ses pools de nœuds entraînent aussi des frais, et Google recommande de supprimer le cluster après usage.