9 listopada 2026 r. Google ogłosiło ogólną dostępność Cloud Pathways na Google Kubernetes Engine (GKE). Osobno ogłosiło integrację z klastrami TPU zarządzanymi przez Slurm za pośrednictwem Cluster Director — w wersji Preview. Dla zespołu planującego wdrożenie ważna jest różnica między tymi etapami oraz wymagania opisane przez Google dla środowiska GKE (ogłoszenie Google Cloud, przewodnik wdrożeniowy GKE).

Co zmienia Cloud Pathways

Cloud Pathways, nazywany też Pathways on Cloud, to środowisko uruchomieniowe do rozproszonego uczenia maszynowego na dużych klastrach akceleratorów. Jeden klient JAX może koordynować pracę wielu segmentów TPU i przedstawiać je jako wspólny zestaw urządzeń. W domyślnym modelu wielokontrolerowym JAX osobne procesy Pythona obsługują lokalnie podłączone urządzenia (dokumentacja Google).

AspektDomyślny JAX z wieloma kontroleramiCloud Pathways z jednym kontrolerem
SterowanieWiele procesów, każdy z własnym interpreterem PythonaJeden program-klient koordynuje pracę systemu
Widok urządzeńKażdy proces widzi lokalnie podłączone urządzeniaKlient JAX otrzymuje wspólny widok urządzeń w wielu segmentach TPU
Wzorzec programowaniaPodejście oparte głównie na SPMD, czyli wykonywaniu tego samego programu na wielu urządzeniachObsługa także wzorców wykraczających poza SPMD, w tym asymetrycznego potokowego przetwarzania równoległego i rzadkich obliczeń

Dla zespołu infrastruktury różnica polega przede wszystkim na sposobie koordynowania pracy: jeden klient może zarządzać wieloma segmentami TPU, zamiast polegać na osobnym procesie i lokalnym widoku urządzeń na każdym hoście. Google opisuje też obsługę współlokowanych procesów pomocniczych Pythona, pamięci podręcznej kompilacji w Cloud Storage, interaktywnych obciążeń oraz asynchronicznego wysyłania XLA HLO. Wśród funkcji wymieniono elastyczne trenowanie: według Google migawki z pamięci hosta mogą pozwolić na przeniesienie obciążenia na N−1 segmentów TPU po awarii sprzętu, bez zatrzymania klienta.

Ogłoszony zakres GKE obejmował regiony Google Cloud obsługujące na GKE TPU v5e, TPU v5p, Trillium (TPU v6e) i Ironwood (TPU 7x). Wersjonowane obrazy Cloud Pathways wymienione w ogłoszeniu obsługują JAX 0.10.1 i nowsze.

Czego wymaga opisane wdrożenie na GKE

Przewodnik Google wymienia narzędzia wiersza poleceń gcloud i kubectl, wtyczkę uwierzytelniającą gke-gcloud-auth-plugin oraz dostęp do API Kubernetes Engine. Do utworzenia pul TPU potrzebna jest wystarczająca kwota TPU albo rezerwacja.

Przykładowa konfiguracja w przewodniku wykorzystuje segmenty TPU v6e o topologii 2x4, po dwa węzły na segment, oraz pulę węzłów CPU dla procesu Pathways. Opis obejmuje też instalację API JobSet i użycie Cloud Storage na pliki tymczasowe oraz pamięć podręczną skompilowanego kodu. Przy konfiguracji korzystającej z metadanych węzłów Google wskazuje nadanie kontu usługi węzłów roli roles/storage.objectAdmin w zasobniku.

Przed utworzeniem klastra sprawdź dostęp do kwoty TPU albo rezerwacji: przewodnik wymaga jednego z tych zasobów dla opisanej konfiguracji.

Google ostrzega, że uruchomienie przykładu tworzy płatne zasoby GKE, TPU i CPU. Przewodnik zaleca usunięcie klastra po zakończeniu pracy, aby zasoby nie generowały dalszych opłat.