Le 5 novembre 2026, Supermicro a annoncé avec IBM et NVIDIA une solution de stockage partagé pour le cache KV, qui associe des serveurs Petascale tout flash, IBM Storage Scale, NVIDIA Dynamo et le réseau Spectrum-X Ethernet (annonce de Supermicro). Les chiffres de performance cités par les entreprises proviennent d’essais réalisés sur une configuration précise, détaillée dans un document technique d’IBM.
Une couche de stockage partagée pour le cache KV
Un cache KV conserve les états « clé-valeur » calculés pendant le traitement d’un prompt. Le système peut ainsi réutiliser du contexte au lieu de recalculer ces états. La solution annoncée place ce cache dans un stockage partagé, au-delà de la mémoire disponible sur un seul GPU.
Dans l’essai décrit par IBM, les données de la couche G4, le stockage partagé, sont récupérées d’abord en mémoire vive de l’hôte, puis transférées par blocs vers la mémoire du GPU. L’architecture de référence distingue aussi la mémoire GPU (G1), la mémoire vive du système (G2) et le stockage NVMe local (G3). L’essai G4 décrit par IBM désactivait les couches de cache G1 et G2.
La configuration derrière les résultats
Le document technique d’IBM Redbooks décrit un essai avec IBM Storage Scale ECE v6.0.0.1, NVIDIA Dynamo v0.9.0+ et vLLM v0.14.1. Le modèle était openai/gpt-oss-120b, préquantifié en MXFP4.
Le stockage reposait sur huit serveurs Supermicro Petascale ASG-1115S-NE316R. Chacun utilisait un processeur AMD EPYC 9535, 16 disques Micron E3 de 7,68 To et une configuration de système de fichiers 8+2P. Le banc d’essai comprenait aussi un nœud client SYS-212GB-FNR équipé de quatre GPU NVIDIA RTX PRO 6000 ; le modèle lui-même tournait sur un seul de ces GPU. Le réseau de test utilisait trois commutateurs Spectrum-X SN5600 en topologie spine-leaf.
Ces détails sont déterminants pour interpréter les résultats : IBM les rapporte pour ce modèle et cette configuration, pas comme une mesure valable pour toute charge de travail ou tout déploiement.
Trois essais, trois mesures différentes
| Essai | Charge et conditions | Résultat rapporté |
| Temps avant le premier jeton (TTFT) | Une requête, modèle de 120 milliards de paramètres, prompt de 130 000 tokens | Jusqu’à 56 fois plus rapide avec le cache. À 130 000 tokens, le TTFT sans cache était de 32,14 s ; les valeurs avec cache allaient de 0,193 à 0,57 s sur les longueurs de prompt testées. |
| Débit avec cache G4 initialement vide | 200 requêtes, 28 connexions simultanées et 100 prompts distincts | 0,19 requête par seconde sans cache contre 4,26 avec IBM Storage Scale ECE. Les durées totales rapportées étaient respectivement de 1 048 s et 46,94 s. |
| Débit sous trafic réseau concurrent | Quatre clients généraient 200 Go/s de trafic concurrent ; essai de 200 requêtes | 3,6 requêtes par seconde avec cache, contre 4,26 dans l’essai sans trafic concurrent. Les valeurs affichées correspondent à une baisse d’environ 15,5 % ; le document d’IBM indique 18 %. |
Le résultat de TTFT ne doit pas être confondu avec une autre mesure du communiqué : entre des prompts de 30 000 et 130 000 tokens, celui-ci rapporte une hausse du TTFT de 0,377 seconde avec cache et de 29,55 secondes sans cache. Il s’agit de variations sur cet intervalle, tandis que les valeurs de 32,14 secondes et de 0,193 à 0,57 seconde dans le tableau sont des temps mesurés dans l’essai décrit par IBM.
Pour l’essai de débit, les 200 requêtes étaient choisies parmi 100 prompts représentant 24 millions de tokens et 825 Go de données de cache KV. Le cache G4 était vide au départ, et la moyenne du parcours complet incluait donc son démarrage. L’essai sous trafic concurrent rapporte 3,6 requêtes par seconde et 55,56 secondes pour les 200 requêtes ; le débit de référence sans cache était de 0,19 requête par seconde.
IBM rapporte également jusqu’à 315 Go/s en lecture pour les huit nœuds de stockage. La configuration côté clients pouvait exploiter jusqu’à 80 Go/s, mais les clients du banc d’essai n’ont pas pleinement sollicité le débit de stockage annoncé.
Pour juger un chiffre de performance, gardez ensemble le modèle, le logiciel, la charge et l’état initial du cache.
Le document technique d’IBM précédait l’annonce
IBM Redbooks indique une date de publication du 5 juin 2026 et une dernière mise à jour au 20 août 2026 pour son document de référence. Ces dates précèdent l’annonce du 5 novembre ; le document décrit l’architecture de référence et les essais auxquels le communiqué fait référence.
