Meta rezerwuje osiem GPU z każdej 72-GPU domeny NVL72 w klastrze Prometheus. Sześćdziesiąt cztery akceleratory pracują w aktywnym wycinku treningowym, a osiem pozostaje w szafie jako zapas. Firma łączy tę rezerwę z izolowaniem awarii i odtwarzaniem pracy z checkpointów, aby trening mógł być kontynuowany. Meta opisała te rozwiązania we wpisie opublikowanym 19 października 2026 roku.

Prometheus działa w New Albany w stanie Ohio. Warstwę sieci i budowę kompleksu omawialiśmy we wcześniejszym artykule NeoTeo o Prometheus.

Co oznacza rezerwa w domenie NVL72

Zapasowe GPU nie są uszkodzonymi akceleratorami. To wolna, zarezerwowana pojemność, którą Meta może wykorzystać po awarii sprzętu. Osiem z 72 GPU stanowi około 11,1% każdej domeny NVL72.

Domenę NVLink można rozumieć jako grupę GPU ściśle połączonych w ramach jednej warstwy komunikacji. Wcześniejsza domena H100 NVL8 obejmowała osiem GPU. Meta ocenia, że przejście do domeny NVL72 dziewięciokrotnie zwiększa potencjalny zasięg awarii. Większa domena zapewnia większą skalę połączeń, ale wymaga też sposobu na ograniczenie skutków usterki.

Meta opisuje przerwę w treningu jako zdarzenie, które zmusza zadanie do zatrzymania i odzyskiwania pracy. Jej przyczyną może być problem z GPU, siecią, pamięcią masową albo temperaturą. Nie każda przerwa oznacza więc awarię samego GPU.

Jak Prometheus wznawia trening po awarii

Jeśli usterkę można ograniczyć do jednej repliki równoległej, Meta może wyłączyć tę część zadania, podczas gdy pozostałe repliki kontynuują pracę. Uszkodzony wycinek uruchamia się ponownie na zapasowych hostach i synchronizuje z resztą. Przy szerszej awarii zadanie może wznowić pracę od ostatniego checkpointu, czyli zapisanego stanu treningu.

Meta opisuje asynchroniczne zapisywanie stanu modelu do wielopoziomowej pamięci masowej. Obejmują one między innymi gradienty i dane optymalizatora. Firma stosuje również delta checkpointing, które zapisuje zmiany względem wcześniejszego stanu, oraz przechowuje dane tymczasowo w pamięci.

Rezerwa GPU to tylko jedna część strategii. Meta podaje, że sieć Prometheus obejmuje ponad 600 000 połączeń NVLink. Ciągła telemetria i testy diagnostyczne L11 mają pomagać w wykrywaniu słabych połączeń, zanim trafią do pracy produkcyjnej.

Jak Meta planuje pojemność zadań

W przykładzie planowania treningu na 32 768 aktywnych GPU Meta podaje 523 szafy NVL72 i 37 656 GPU łącznie. Firma utrzymuje też około 2% dodatkowych szaf na wypadek rzadszej awarii całej szafy lub poda. Ten zapas dotyczy więc większej jednostki infrastruktury niż osiem GPU rezerwowanych w każdej domenie.

Jakie wyniki niezawodności podaje Meta

We wpisie z 19 października 2026 roku Meta podała, że w początkowej fazie Prometheus, w połowie 2025 roku, liczba przerw sięgała prawie 1000 dziennie na każde 8000 GPU. Po około roku prac inżynieryjnych firma odnotowała spadek o 99%.

Podczas treningów Muse Wonder Meta raportowała średni czas między przerwami (MTBI) wynoszący około 47 000 godzin GPU. Po późniejszych zmianach we flocie wartość ta przekroczyła 54 000 godzin GPU. Około 100 000 godzin GPU, odpowiadające celowi dwóch przerw dziennie na 8000 GPU, Meta określa jako swój cel niezawodności.

Firma podała też goodput, czyli miarę produktywnego postępu treningu: powyżej 85% w przypadku wstępnego treningu Muse Wonder i powyżej 90% podczas uczenia ze wzmocnieniem. Są to wyniki przypisane przez Meta do tych dwóch rodzajów zadań.

Meta opisywała Prometheus jako klaster obejmujący setki tysięcy GPU, rozbudowywany do około miliona. Wpis wymieniał NVIDIA GB200 NVL72 i NVIDIA GB300 NVL72 jako używane platformy, a NVIDIA Vera Rubin NVL72 jako planowany element dalszej rozbudowy.