Supermicro kondigde op 5 november 2026 samen met IBM en NVIDIA een opslagoplossing voor hergebruik van KV-cache aan. De combinatie bestaat uit Supermicro Petascale-servers met volledig flashgeheugen, IBM Storage Scale, NVIDIA Dynamo en Spectrum-X Ethernet. IBM Redbooks beschrijft de referentiearchitectuur en benchmarkresultaten in een technische publicatie die het op 5 juni 2026 dateert en op 20 augustus bijwerkte (aankondiging; IBM Redbooks).
Wat de opslaglaag doet
Een KV-cache bewaart eerder berekende key- en value-toestanden van tekst, zodat een model context kan hergebruiken in plaats van die opnieuw te berekenen. Dat kan vooral van belang zijn bij lange prompts en meerdere opeenvolgende inferentiestappen.
De architectuur van IBM deelt opslag in lagen in: GPU-geheugen (G1), systeemgeheugen (G2), lokale NVMe-opslag (G3) en gedeelde bedrijfsopslag (G4). In de beschreven G4-test haalde NVIDIA Dynamo cachegegevens eerst naar het werkgeheugen van de server en bracht ze daarna in delen over naar GPU-geheugen. Die test schakelde de G1- en G2-cachelagen uit.
Benchmarkcijfers zijn pas bruikbaar naast de omstandigheden die ze opleverden: het model, de softwareversies, de cachetoestand en het soort netwerkverkeer.
De testopstelling achter de resultaten
IBM Redbooks beschrijft tests met IBM Storage Scale ECE v6.0.0.1, NVIDIA Dynamo v0.9.0+ en vLLM v0.14.1. Het model was openai/gpt-oss-120b, vooraf gequantiseerd naar MXFP4. De opslaglaag bestond uit acht Supermicro Petascale ASG-1115S-NE316R-servers. Elke server had een AMD EPYC 9535-processor en 16 Micron E3-schijven van 7,68 TB; de opslag gebruikte een 8+2P-indeling.
De test draaide op één Supermicro SYS-212GB-FNR-clientserver met vier NVIDIA RTX PRO 6000-gpu’s. IBM vermeldt dat het model zelf op één van die gpu’s draaide. De uitkomsten hieronder komen uit IBM’s beschreven referentietests en gelden voor die specifieke opstelling.
Wat de afzonderlijke tests rapporteerden
TTFT staat voor time to first token: de tijd voordat het eerste token van een antwoord verschijnt. De throughputtest meet daarentegen hoeveel verzoeken per seconde worden afgehandeld. IBM hield die resultaten apart:
| Test | Werklast en omstandigheden | Door IBM gerapporteerde uitkomst |
| TTFT | Eén verzoek; prompt van 130.000 tokens; model met 120 miljard parameters | Tot 56× versnelling. Zonder cache was TTFT bij 130.000 tokens 32,14 seconden; met cache lag die over de geteste promptlengtes tussen 0,193 en 0,57 seconden. |
| Throughput met cache | 200 verzoeken, 28 gelijktijdige verbindingen en 100 prompts; de G4-cache begon leeg | 0,19 verzoeken per seconde (RPS) zonder hergebruik van cache tegenover 4,26 RPS met Storage Scale ECE. IBM noemt dit een verbetering van 22×. |
| Noisy-neighbor-test | Vier clients veroorzaakten volgens IBM 200 GB/s aan concurrerend netwerkverkeer; de cached run verwerkte 200 verzoeken | 3,6 RPS, tegenover 4,26 RPS met cache zonder dat extra verkeer. Het verschil tussen die getoonde waarden is circa 15,5%. |
Bij de laatste test omschrijft IBM de daling als 18%. De weergegeven waarden van 4,26 en 3,6 RPS komen echter uit op ongeveer 15,5%: (4,26 − 3,6) ÷ 4,26 × 100. Die berekening gebruikt de afgeronde throughputcijfers uit de publicatie.
De technische publicatie ging aan de aankondiging vooraf
IBM Redbooks dateert de referentiepublicatie op 5 juni 2026 en vermeldt 20 augustus 2026 als laatste update. De gezamenlijke aankondiging van Supermicro, IBM en NVIDIA volgde op 5 november 2026. De IBM-publicatie beschrijft de architectuur en de benchmarkresultaten die bij de aankondiging relevant zijn.
