Meta tiene otto GPU di riserva in ogni dominio NVL72 da 72 GPU del supercluster Prometheus; le altre 64 formano la porzione attiva per l’addestramento. Queste unità sono capacità pronta all’uso, non GPU guaste: possono sostituire un acceleratore quando un guasto interrompe il lavoro.
Prometheus si trova a New Albany, in Ohio. Meta aveva già descritto la rete e le strutture del supercluster in un precedente approfondimento di NeoTeo. La riserva affronta un altro problema: mantenere produttivi gli addestramenti anche quando si guasta una parte dell’infrastruttura.
Perché Meta riserva GPU in ogni dominio
Un dominio NVLink riunisce 72 GPU in un gruppo strettamente connesso. Rispetto al precedente dominio H100 NVL8, composto da otto GPU, NVL72 amplia di nove volte il gruppo di GPU collegate. Meta afferma che questa scala aumenta anche di nove volte il possibile raggio d’impatto di un guasto. La maggiore capacità di comunicazione, quindi, richiede una strategia per isolare i problemi e sostituire rapidamente le unità coinvolte.
Gli otto acceleratori di riserva sono 8 su 72, circa l’11,1% del dominio. Meta descrive inoltre una riserva di circa il 2% di rack aggiuntivi per i guasti meno frequenti che possono mettere fuori servizio un rack intero. Un rack di riserva copre così un problema più ampio di quello affrontato dalle GPU di scorta all’interno di ciascun dominio.
Come Prometheus riprende dopo un guasto
Meta distingue i guasti circoscritti a una replica dai problemi che coinvolgono una parte più ampia dell’addestramento. Una replica è una delle copie parallele del modello che partecipano al lavoro. Se il guasto resta confinato a una replica, Meta può metterla offline mentre le altre continuano l’addestramento; la porzione interessata riparte su host di riserva e si sincronizza di nuovo con il resto del sistema.
Per un guasto più esteso, il lavoro può riprendere dall’ultimo checkpoint, cioè uno stato salvato dell’addestramento. Meta afferma che i checkpoint vengono salvati in modo asincrono su più livelli di archiviazione e comprendono lo stato del modello, i gradienti e i dati dell’ottimizzatore. Le GPU di riserva intervengono quindi nella sostituzione dell’hardware; il checkpoint consente di recuperare il lavoro quando il guasto richiede una ripartenza più ampia.
Meta definisce un’interruzione come un guasto che obbliga un lavoro di addestramento a fermarsi e recuperare. La causa può riguardare il silicio di una GPU, la rete, l’archiviazione o problemi termici. Perciò il numero di interruzioni non equivale al numero di GPU guaste.
L’esempio di capacità per un lavoro di addestramento
Per un carico con 32.768 GPU attive, Meta indica un’installazione di 523 rack NVL72, per un totale di 37.656 GPU. L’esempio mostra quanta infrastruttura viene predisposta attorno a un singolo lavoro di grandi dimensioni; la riserva di rack interi copre separatamente i guasti che coinvolgono un rack.
I risultati di affidabilità comunicati da Meta
Nel post tecnico pubblicato il 19 ottobre 2026, Meta ha riferito che nella fase iniziale di Prometheus, a metà 2025, le interruzioni avevano raggiunto un picco di quasi 1.000 al giorno per 8.000 GPU. L’azienda ha dichiarato che circa un anno di interventi ingegneristici ha ridotto quel valore del 99%.
Meta ha riportato un tempo medio tra le interruzioni, o MTBI, di circa 47.000 ore-GPU durante le esecuzioni di Muse Wonder e, dopo successivi cambiamenti alla flotta, un valore superiore a 54.000 ore-GPU. L’obiettivo dichiarato è circa 100.000 ore-GPU, equivalente a due interruzioni al giorno per 8.000 GPU. È un traguardo distinto dai valori MTBI comunicati per le esecuzioni.
Per Muse Wonder, Meta ha inoltre riferito un goodput superiore all’85% nel preaddestramento e al 90% nell’apprendimento per rinforzo. Il goodput misura il lavoro di addestramento utile rispetto al tempo impiegato: i due valori riguardano modalità di lavoro diverse.
Meta descrive Prometheus come un supercluster che comprende attualmente centinaia di migliaia di GPU e che punta a circa un milione a piena scala. Le piattaforme indicate come già installate sono NVIDIA GB200 NVL72 e NVIDIA GB300 NVL72; NVIDIA Vera Rubin NVL72 è prevista per un’espansione successiva.
