A Meta mantém oito GPUs de reserva em cada domínio NVL72 do Prometheus; outras 64 compõem a fatia ativa de treinamento. Em uma publicação de engenharia divulgada em 19 de outubro de 2026, a empresa descreveu como combina essa capacidade extra com a recuperação de réplicas e checkpoints para retomar treinamentos após falhas.

O papel das GPUs de reserva

Cada domínio NVL72 reúne 72 GPUs conectadas por NVLink. A Meta destina 64 ao treinamento e mantém oito como reservas dentro do rack, o equivalente a cerca de 11,1% do domínio. Essas GPUs ficam disponíveis para substituir unidades que falhem; a reserva, por si só, não significa que estejam defeituosas.

O tamanho do domínio também muda o alcance potencial de uma falha. A Meta compara o NVL72 ao domínio H100 NVL8, que reúne oito GPUs, e afirma que a expansão aumenta em nove vezes o possível raio de impacto. A empresa também mantém cerca de 2% de racks adicionais para falhas mais raras que tirem um rack inteiro de operação.

Em um exemplo de dimensionamento, a Meta descreve um treinamento com 32.768 GPUs ativas distribuídas por 523 racks NVL72, totalizando 37.656 GPUs. A conta inclui a capacidade reservada além das GPUs ativas.

Como o Prometheus retoma o treinamento

A Meta define uma interrupção como uma falha que obriga o treinamento a parar e se recuperar. Ela pode envolver a GPU, a rede, o armazenamento ou problemas térmicos, portanto não corresponde apenas a uma GPU que parou de funcionar.

Quando o problema fica restrito a uma réplica de paralelismo de dados, a Meta pode tirar essa réplica de operação enquanto as demais continuam o trabalho. A fatia afetada reinicia em hosts de reserva e se sincroniza com o restante do treinamento.

Se a falha atingir uma área maior, o treinamento pode ser retomado a partir do último checkpoint, ou ponto de salvamento. A Meta diz que grava o estado do modelo de forma assíncrona em armazenamento de várias camadas, incluindo gradientes e dados do otimizador. A arquitetura também usa checkpoints incrementais e preparação em memória.

A prevenção de falhas inclui o monitoramento contínuo de mais de 600 mil conexões NVLink e testes de diagnóstico L11 para detectar conexões fracas antes da produção. A Meta também descreve variações de carga de 30% a 40%, com mudanças de mais de dezenas de megawatts em poucos segundos, causadas pela sincronização das cargas de trabalho das GPUs. Para ajustar esse comportamento gradualmente, a empresa usa o framework Dynamo Dimmer, que altera os limites de potência das GPUs.

Os resultados de confiabilidade divulgados pela Meta

A Meta afirma que as interrupções chegaram a quase 1.000 por dia para cada grupo de 8.000 GPUs na fase inicial do Prometheus, em meados de 2025. Após cerca de um ano de mudanças de engenharia, a empresa informou uma redução de 99%.

Nas execuções do Muse Wonder, a Meta reportou MTBI, ou tempo médio entre interrupções, de cerca de 47 mil horas-GPU; depois de mudanças na frota, o valor passou de 54 mil horas-GPU. A meta da empresa é chegar a aproximadamente 100 mil horas-GPU, associadas a duas interrupções por dia para cada 8.000 GPUs.

A Meta também informou goodput acima de 85% nas execuções de pré-treinamento do Muse Wonder e acima de 90% nas execuções de aprendizado por reforço. Os percentuais correspondem a tipos diferentes de treinamento.

O Prometheus opera atualmente com centenas de milhares de GPUs, segundo a Meta, e está sendo ampliado para chegar a cerca de um milhão quando atingir sua escala total. A configuração atual usa NVIDIA GB200 NVL72 e GB300 NVL72; a Meta planeja acrescentar a plataforma NVIDIA Vera Rubin NVL72 em uma expansão futura.

Meta detalhou a rede e a construção do data center Prometheus