NVIDIA détaille les performances du DGX Spark à huit nœuds

Dans son billet du 22 octobre 2026, NVIDIA rapporte 52,58 jetons/s en décodage pour Qwen3.8-27B-NVFP4 sur huit DGX Spark reliés par switch avec RoCEnante, contre 11,86 jetons/s sur un nœud. Le gain annoncé est de 4,43× pour ce test précis ; le préremplissage du prompt progresse, lui, de 1,94×.

Le test Qwen atteint 52,58 jetons/s en décodage

NVIDIA a testé Qwen3.8-27B-NVFP4 avec une seule requête simultanée, 8 192 jetons en entrée et 256 en sortie, sans décodage spéculatif. Le préremplissage, ou prefill, correspond au traitement du prompt avant la génération ; le décodage produit ensuite les jetons de réponse.

Pour cette charge, NVIDIA rapporte donc 4,43× le débit de décodage d’un seul nœud avec huit nœuds et RoCEnante, mais 1,94× le débit de préremplissage. L’ajout de nœuds n’améliore pas ces deux étapes au même rythme. Avec huit nœuds en anneau physique, NVIDIA rapporte 40,11 jetons/s en décodage, contre 52,58 avec le switch et RoCEnante.

Anneau ou switch : le choix dépend de la topologie

NVIDIA présente l’anneau sans switch comme une configuration plus simple et moins coûteuse pour l’inférence à quatre nœuds. Elle indique qu’un switch est nécessaire pour relier huit nœuds, répartir le cluster en groupes indépendants ou obtenir une connectivité directe entre les nœuds.

RoCEnante est un moteur de communication collective, c’est-à-dire un logiciel qui coordonne les échanges entre GPU. NVIDIA le réserve aux configurations avec switch et décrit son intérêt pour les petits messages et un nombre modéré de rangs. Dans son test Qwen sur réseau commuté, l’entreprise rapporte un facteur de décodage de 3,06× à quatre nœuds avec RoCEnante, contre 2,56× sans lui ; à huit nœuds, les valeurs sont de 4,43× et 3,05×.

Ce moteur réduit les étapes de communication, mais déplace davantage de données lorsque les messages ou le nombre de nœuds augmentent. NVIDIA présente NCCL comme le choix pris en charge par défaut et indique qu’il peut mieux convenir à une concurrence élevée, à des clusters plus grands ou à une topologie en anneau.

Switchyard répartit les requêtes entre deux modèles

Dans son prototype Switchyard, NVIDIA a dirigé les tâches simples vers MiniCPM5 2B et les tâches plus complexes vers Qwen3.8 Flash Next. L’entreprise rapporte un score de 91 sur 100, identique à celui de sa configuration Qwen seule, sur un benchmark d’utilisation d’outils comptant 92 cas.

Le débit dépendait de la répartition des requêtes : NVIDIA rapporte environ 1,5× lorsque la moitié des demandes partaient vers Qwen, et environ 3× lorsque cette part était d’un quart, le reste étant dirigé vers MiniCPM. Ces chiffres décrivent le prototype et ces répartitions précises.

Le préentraînement de nanochat évolue autrement

Pour le préentraînement de nanochat, NVIDIA rapporte 68 079 jetons/s sur huit nœuds, soit 7,79× le débit d’un nœud et une efficacité de mise à l’échelle de 97,4 %. Il s’agit d’un entraînement, distinct des tests d’inférence Qwen.

NVIDIA indique que ce test utilisait un lot global de 524 288 jetons par étape et 32 séquences par micro-lot GPU. Le modèle nanochat comptait environ 896,5 millions de paramètres.

Mémoire du cluster et calendrier de NVIDIA Sync

Chaque DGX Spark apporte 128 Go de mémoire unifiée ; NVIDIA indique une capacité totale de 1 To pour huit nœuds. L’entreprise rapporte que cette configuration peut faire tourner le checkpoint complet de GLM 5.3, qui compte 753 milliards de paramètres et occupe environ 470 Go en NVFP4. Pour ce modèle, NVIDIA donne un débit total de décodage de 31, 51 et 67 jetons/s à des niveaux de concurrence de 1, 4 et 8, respectivement.

Les caractéristiques annoncées pour un DGX Spark comprennent une bande passante mémoire de 273 Go/s et une carte réseau ConnectX-7 de 200 Gbit/s. Ce sont des spécifications par système, distinctes des débits mesurés dans les tests du cluster.

Dans son billet du 22 octobre 2026, NVIDIA indiquait prévoir la prise en charge de huit nœuds dans NVIDIA Sync d’ici la fin de l’année.