Meta hält in jeder NVL72-Domäne acht von 72 GPUs als Ersatz bereit; 64 arbeiten jeweils in einem Trainingsverbund. In einem am 19. Oktober 2026 veröffentlichten Technikbeitrag beschreibt das Unternehmen, wie diese Reserve und abgestufte Wiederherstellung Trainingsläufe bei Fehlern weiterlaufen lassen sollen.

Die Netzwerk- und Bauinfrastruktur von Prometheus hat NeoTeo bereits in einem früheren Beitrag zum Cluster eingeordnet. Meta beschreibt nun auch, wie Prometheus Ausfälle während des Trainings auffängt.

Was die acht Reserve-GPUs leisten

Die acht GPUs sind vorgehaltene Ersatzkapazität, keine defekten Geräte. Fällt eine GPU aus, kann eine Reserve sie ersetzen. Die NVL72-Domäne umfasst 72 GPUs, die über NVLink eng gekoppelt sind; Meta plant pro Domäne einen Trainingsverbund mit 64 GPUs.

Diese Aufteilung hilft, die größere Fehlerdomäne von NVL72 abzufedern. Im Vergleich zur früheren H100-NVL8-Architektur umfasst sie neunmal so viele GPUs. Meta hält außerdem rund zwei Prozent zusätzliche Racks für seltenere Fehler bereit, die ein ganzes Rack oder einen Pod außer Betrieb setzen können.

Für einen Lauf mit 32.768 aktiven GPUs nennt Meta 523 NVL72-Racks mit insgesamt 37.656 GPUs. Die Zahlen veranschaulichen, wie viel Gesamtkapazität Meta für einen solchen Trainingslauf einplant.

Wie Prometheus nach einem Fehler weiterarbeitet

Die Wiederherstellung hängt davon ab, wie weit sich ein Fehler auswirkt. Betrifft er nur ein Datenparallel-Replikat, kann Meta dieses aus dem Verbund nehmen, während die übrigen Replikate weitertrainieren. Anschließend startet die betroffene Gruppe auf verfügbaren Ersatzhosts neu und synchronisiert sich wieder mit dem Training.

Ein Datenparallel-Replikat ist eine parallel laufende Teilinstanz des Trainings. Bei einem Fehler, der über ein einzelnes Replikat hinausgeht, muss laut Meta der gesamte Lauf am letzten Checkpoint neu starten. Ein Checkpoint ist ein gespeicherter Zwischenstand des Modelltrainings. Meta speichert dafür asynchron Modellzustand, Gradienten und Optimierungsdaten in einem mehrstufigen Speichersystem. Delta-Checkpoints und eine Zwischenspeicherung im Arbeitsspeicher sollen die Belastung des Trainingsdurchsatzes gering halten.

Meta zählt als Unterbrechung jeden Fehler, der ein Training anhält und eine Wiederherstellung auslöst. Dazu können Probleme mit GPUs, dem Netzwerk, dem Speicher oder der Temperaturregelung gehören. Eine Unterbrechung bezeichnet damit nicht automatisch eine ausgefallene GPU.

Welche Zuverlässigkeitswerte Meta meldet

Meta berichtet, dass die Unterbrechungen in der Anfangsphase von Prometheus Mitte 2025 einen Höchststand von fast 1.000 Ereignissen pro Tag je 8.000 GPUs erreichten. Nach einem Jahr technischer Maßnahmen seien die Unterbrechungen um 99 Prozent zurückgegangen.

Für Muse-Wonder-Läufe nennt Meta eine mittlere Zeit zwischen Unterbrechungen, kurz MTBI, von rund 47.000 GPU-Stunden. Nach späteren Änderungen an der Flotte sei der Wert auf mehr als 54.000 GPU-Stunden gestiegen. Die Einheit GPU-Stunden gehört zu Metas angegebener MTBI-Messung.

Beim Goodput, dem produktiven Trainingsdurchsatz, meldet Meta mehr als 85 Prozent für Vortraining und mehr als 90 Prozent für Reinforcement Learning mit Muse Wonder. Als Zuverlässigkeitsziel nennt das Unternehmen zwei Unterbrechungen pro Tag je 8.000 GPUs, entsprechend rund 100.000 GPU-Stunden MTBI.

Meta beschrieb Prometheus am 19. Oktober 2026 als Cluster mit Hunderttausenden GPUs an mehreren miteinander verbundenen Standorten in New Albany, Ohio. Rund eine Million GPUs nennt das Unternehmen als Ziel für den vollständigen Ausbau. Zum damaligen Bestand gehörten GB200 NVL72 und GB300 NVL72; die Vera Rubin NVL72 plante Meta für eine spätere Ausbauphase.