Meta reserveert in elk NVL72-domein acht GPU’s als reserve en gebruikt er 64 voor een actieve trainingsslice. Die gereserveerde capaciteit kan een defecte GPU vervangen. Meta combineert de reserve met herstel per trainingsreplica en checkpoints om grote AI-trainingen na storingen te hervatten.

Acht reserve-GPU’s in elk NVL72-domein

Een NVL72-domein bevat 72 GPU’s. Daarvan zijn er volgens Meta 64 ingedeeld in een trainingsslice en acht beschikbaar als in-rack-reserve. Die acht GPU’s zijn dus gereserveerde capaciteit, geen defecte hardware. De verhouding is 8 op 72, ongeveer 11,1 procent.

Meta zegt dat NVL72-domeinen de schaalbare verbinding via NVLink uitbreiden ten opzichte van een eerdere H100 NVL8-opstelling met acht GPU’s. Het grotere domein vergroot volgens Meta ook de potentiële impact van een storing: de mogelijke storingsomvang is negen keer groter. Voor wie meer wil weten over de netwerkopzet van het cluster is er ook NeoTeo’s eerdere artikel over de bouw en het netwerk van Prometheus.

Hoe Prometheus een storing opvangt

Een onderbreking is een fout waardoor een training moet pauzeren en herstellen. Meta rekent daar niet alleen problemen met GPU-silicium toe, maar ook storingen in het netwerk of de opslag en thermische problemen.

Als de fout tot één data-parallelle replica beperkt blijft, kan Meta die replica offline halen terwijl de andere replica’s doorgaan met trainen. De getroffen slice start vervolgens opnieuw op beschikbare reservehosts en synchroniseert met de rest. Zo hoeft een storing in één deel niet automatisch de hele training stil te leggen.

Bij een storing met een grotere impact kan de training vanaf het laatste checkpoint hervatten. Meta slaat die modelstatus asynchroon op in opslaglagen. De checkpoints bevatten onder meer gradiënten en gegevens van de optimizer, die bepaalt hoe een model tijdens training wordt bijgewerkt. Meta beschrijft ook delta-checkpointing en tijdelijke opslag in het geheugen als onderdelen van dit proces.

Storingen proberen voorkomen hoort eveneens bij de aanpak. Meta meldt dat Prometheus meer dan 600.000 NVLink-verbindingen heeft. Continue telemetrie en L11-diagnosetests helpen zwakke verbindingen op te sporen voordat ze in productie problemen veroorzaken.

De capaciteit voor een training plannen

Meta noemt als voorbeeld een training met 32.768 actieve GPU’s, verdeeld over 523 NVL72-racks met in totaal 37.656 GPU’s. Daarnaast reserveert het bedrijf naar eigen zeggen ongeveer 2 procent extra racks voor zeldzame storingen waarbij een volledig rack of pod uitvalt. De in-rack-reserves en extra racks zijn daarmee bedoeld voor verschillende soorten problemen: de eerste vangen uitval binnen een domein op, de tweede een storing die een groter deel van de infrastructuur raakt.

Welke resultaten Meta meldt

In een engineeringbericht dat Meta op 19 oktober 2026 publiceerde, zei het bedrijf dat Prometheus in de eerste fase, medio 2025, piekte op bijna 1.000 onderbrekingen per dag per 8.000 GPU’s. Na ongeveer een jaar aan technische aanpassingen waren de onderbrekingen volgens Meta met 99 procent gedaald.

Voor Muse Wonder-trainingen rapporteert Meta een wall-clock-MTBI, de gemiddelde tijd tussen onderbrekingen, van ongeveer 47.000 GPU-uren. Na latere aanpassingen aan de vloot kwam die volgens het bedrijf boven de 54.000 GPU-uren uit. Meta noemt ongeveer 100.000 GPU-uren als doel, overeenkomend met twee onderbrekingen per dag per 8.000 GPU’s. Dat is het beoogde niveau, niet een van de gerapporteerde resultaten.

Meta meldt voor Muse Wonder bovendien een goodput van meer dan 85 procent bij pretraining en meer dan 90 procent bij reinforcement learning. De cijfers horen bij die afzonderlijke soorten werkbelasting.

Prometheus omvat volgens Meta momenteel honderdduizenden GPU’s en wordt opgeschaald richting ongeveer één miljoen. In het cluster zijn de platforms NVIDIA GB200 NVL72 en NVIDIA GB300 NVL72 in gebruik; Meta beschreef NVIDIA Vera Rubin NVL72 als een geplande uitbreiding.