NVIDIA relata 52,58 tokens/s de decodificação em oito DGX Spark

Em relatório publicado em 22 de outubro de 2026, a NVIDIA relatou 52,58 tokens por segundo de decodificação para Qwen3.8-27B-NVFP4 em oito DGX Spark conectados por switch e usando RoCEnante. Em um único nó, o resultado foi 11,86 tokens por segundo, uma escala de 4,43× nas condições do teste. O número descreve essa configuração específica, não o desempenho de inferência de qualquer modelo ou carga de trabalho.

O teste de Qwen: decodificação e prefill têm escalas diferentes

A NVIDIA testou Qwen3.8-27B-NVFP4 com concorrência 1, entrada de 8.192 tokens e saída de 256 tokens, sem decodificação especulativa. A empresa usou o llama-benchy. Prefill é o processamento dos tokens de entrada; decodificação é a geração dos tokens de resposta.

Na configuração de oito nós com switch, a escala da decodificação foi maior que a do prefill: 4,43× contra 1,94× em relação a um nó. A mesma comparação mostra que o anel físico de oito nós chegou a 40,11 tokens/s de decodificação, enquanto a configuração com switch e RoCEnante chegou a 52,58.

Anel, switch e o papel do RoCEnante

A NVIDIA descreve o anel sem switch como uma opção mais simples e de menor custo para inferência com quatro nós. Para oito nós, grupos independentes de modelos ou comunicação direta entre todos os nós, a empresa indica uma topologia com switch.

RoCEnante é um backend de comunicação coletiva, isto é, software que coordena operações de troca de dados entre GPUs. A NVIDIA o descreve como adequado a mensagens pequenas, baixa concorrência e um número modesto de participantes, em topologias com switch. No teste de Qwen, a escala da decodificação em oito nós foi de 4,43× com RoCEnante e de 3,05× sem ele. A empresa mantém o NCCL como opção padrão compatível e o considera mais adequado para concorrência alta, clusters maiores ou topologias em anel.

Switchyard encaminha pedidos para modelos diferentes

No protótipo Switchyard, a NVIDIA direcionou solicitações mais simples ao MiniCPM5 2B e as mais difíceis ao Qwen3.8 Flash Next. A configuração de oito nós distribuía os recursos entre três réplicas de Qwen com dois nós cada e duas réplicas de MiniCPM com um nó cada.

A NVIDIA relata que o agente roteado obteve 91 pontos em 100 em um benchmark de uso de ferramentas com 92 casos, igualando a configuração que usava apenas Qwen. O throughput agregado foi cerca de 1,5× quando metade das solicitações seguia para Qwen e cerca de 3,0× quando um quarto ia para Qwen e o restante para MiniCPM. Esses resultados pertencem ao protótipo e às divisões de tráfego descritas.

O pré-treinamento do nanochat teve outro perfil de escala

Na tarefa separada de pré-treinamento do nanochat, a NVIDIA relata 68.079 tokens/s em oito nós, 7,79× o resultado de um nó, com eficiência de escala de 97,4%. O modelo tinha cerca de 896,5 milhões de parâmetros; a configuração usava um lote global de 524.288 tokens por etapa e micro-lotes de 32 sequências por GPU.

O resultado de 7,79× pertence ao treinamento do nanochat. No teste de inferência do Qwen, a escala da decodificação em oito nós foi de 4,43×, sob outra carga e outras condições.

Memória do cluster, especificações por nó e NVIDIA Sync

Cada DGX Spark tem 128 GB de memória unificada; a NVIDIA informa 1 TB combinando oito nós. A empresa também relata que o checkpoint completo do GLM 5.3, com 753 bilhões de parâmetros e cerca de 470 GB em NVFP4, roda nesse cluster.

Para cada sistema individual, a página de especificações da NVIDIA lista largura de banda de memória de 273 GB/s e uma interface de rede ConnectX-7 de 200 Gbps. São características do nó, enquanto os resultados de tokens por segundo variam conforme o modelo, a etapa e a topologia testada.

Em publicação de 22 de outubro de 2026, a NVIDIA previa que o suporte a oito nós no NVIDIA Sync chegaria até o fim daquele ano.