Meta réserve huit GPU sur les 72 de chaque domaine NVL72 de Prometheus. Les 64 autres composent la tranche active d’entraînement. Dans un billet publié le 19 octobre 2026, l’entreprise explique que cette capacité de secours, associée à la reprise par réplique et aux points de contrôle, aide ses grands entraînements d’IA à repartir après un incident.
À quoi servent les huit GPU de secours ?
Les huit GPU sont réservés pour remplacer une capacité touchée par une panne ; Meta ne les décrit pas comme du matériel défectueux. Ils représentent environ 11,1 % des 72 GPU de chaque domaine NVL72. Meta indique aussi garder environ 2 % de racks supplémentaires pour les rares incidents qui rendent indisponible un rack entier.
Le domaine NVL72 regroupe neuf fois plus de GPU que le domaine H100 NVL8 précédent, qui en comptait huit. Meta estime que cette échelle multiplie par neuf le rayon d’impact potentiel d’une panne. La réserve dans chaque rack répond à ce risque à l’échelle du domaine.
Pour un entraînement mobilisant 32 768 GPU actifs, Meta décrit un dimensionnement de 523 racks NVL72, soit 37 656 GPU au total.
Comment Prometheus reprend après un incident
Meta distingue les incidents qui touchent une seule réplique de ceux qui affectent un périmètre plus large. Une réplique est une partie du travail d’entraînement exécutée en parallèle. Si la panne peut être isolée à une seule réplique, les autres peuvent continuer ; la tranche touchée redémarre sur des hôtes de secours, puis se resynchronise.
Quand l’incident affecte un périmètre plus large, le travail reprend depuis son dernier point de contrôle, une sauvegarde de l’état du modèle. Meta indique que ces sauvegardes sont enregistrées de façon asynchrone sur plusieurs niveaux de stockage et contiennent notamment les gradients et les données de l’optimiseur, nécessaires à la poursuite de l’entraînement.
Une interruption désigne, selon Meta, une panne qui oblige un travail d’entraînement à s’arrêter puis à récupérer. Elle peut venir du GPU, du réseau, du stockage ou de problèmes thermiques. Ce terme couvre donc davantage qu’une défaillance d’un GPU.
Meta décrit aussi une surveillance continue et des tests de diagnostic L11 pour repérer les liaisons NVLink fragiles avant la mise en production. L’entreprise indique que Prometheus en compte plus de 600 000.
Pour le contexte sur l’architecture du cluster, NeoTeo avait déjà détaillé le réseau et la construction de Prometheus.
Les résultats de fiabilité annoncés par Meta
À la mi-2025, pendant la phase initiale de Prometheus, Meta rapporte un pic de près de 1 000 interruptions par jour pour 8 000 GPU. Dans son billet du 19 octobre 2026, l’entreprise affirme que des changements d’ingénierie menés pendant environ un an ont réduit les interruptions de 99 %.
Pour les entraînements de Muse Wonder, Meta rapporte un temps moyen entre interruptions (MTBI) d’environ 47 000 heures-GPU, puis de plus de 54 000 heures-GPU après des changements apportés au parc. Son objectif est d’environ 100 000 heures-GPU, ce qui correspond, selon Meta, à deux interruptions par jour pour 8 000 GPU.
Meta rapporte également un goodput supérieur à 85 % pour le préentraînement de Muse Wonder et supérieur à 90 % pour ses travaux d’apprentissage par renforcement. Le goodput mesure la part de l’entraînement consacrée au travail utile.
Prometheus, situé à New Albany, dans l’Ohio, compte actuellement des centaines de milliers de GPU. Meta le développe en visant environ un million de GPU à pleine échelle. Les plateformes déployées sont NVIDIA GB200 NVL72 et NVIDIA GB300 NVL72 ; Meta a présenté NVIDIA Vera Rubin NVL72 comme une plateforme prévue pour une expansion ultérieure.
