Supermicro kündigte am 5. November 2026 gemeinsam mit IBM und NVIDIA eine persistente Speicherlösung für den KV-Cache von KI-Inferenzsystemen an. Sie verbindet Supermicro-Petascale-All-Flash-Server mit IBM Storage Scale, NVIDIA Dynamo und Spectrum-X Ethernet. Die Mitteilung nennt außerdem AMD-EPYC-Prozessoren der 9005-Serie (Ankündigung).
IBM Redbooks datiert sein Referenzpapier zur Architektur auf den 5. Juni 2026 und nennt den 20. August als letztes Aktualisierungsdatum. Das Papier beschreibt bereits die gemeinsame Speicherarchitektur und Benchmark-Ergebnisse, die später in der November-Ankündigung aufgegriffen wurden (Referenzpapier).
Wie der KV-Cache Kontext wiederverwendet
Ein KV-Cache speichert berechnete Schlüssel- und Wertzustände eines Textkontexts. Bei einer späteren Anfrage kann ein Inferenzsystem diese Zustände wiederverwenden, statt denselben Kontext erneut zu berechnen. So soll gemeinsam genutzter Speicher den GPU-Speicher bei langen Prompts und mehrstufigen Anfragen entlasten.
Im G4-Test holte NVIDIA Dynamo gespeicherte Zustände aus dem gemeinsamen Speicher zunächst in den Arbeitsspeicher des Host-Systems und übertrug sie anschließend in Blöcken in den GPU-Speicher. G4 bezeichnet dabei die Ebene für gemeinsam genutzten Enterprise-Speicher. Der Test deaktivierte die höher priorisierten Cache-Ebenen G1 im GPU-Speicher und G2 im System-Arbeitsspeicher.
Beim Prefill verarbeitet das Modell den Prompt und erzeugt erste KV-Zustände; beim Decode generiert es weitere Tokens. Der englischsprachige Erklärfilm von IBM Technology führt durch diese Schritte und erklärt, wie gespeicherte Zustände erneute Berechnungen vermeiden.
Welche Tests hinter den Leistungswerten stehen
IBM Redbooks beschreibt einen genau festgelegten Testaufbau. Acht Supermicro-Petascale-Speicherknoten des Modells ASG-1115S-NE316R nutzten jeweils einen AMD EPYC 9535 und 16 Micron-E3-Laufwerke mit je 7,68 TB. Zum Software-Stack gehörten IBM Storage Scale ECE v6.0.0.1, NVIDIA Dynamo v0.9.0+ und vLLM v0.14.1. Getestet wurde das auf MXFP4 vorquantisierte Modell openai/gpt-oss-120b mit 120 Milliarden Parametern. Der GPU-Client hatte vier NVIDIA RTX PRO 6000 installiert; das Modell lief laut Papier auf einer einzelnen GPU.
Die Messwerte stammen aus Hersteller-Benchmarks. Die drei Läufe unterscheiden sich bei Messgröße und Last deutlich:
| Test | Arbeitslast und Bedingung | Von IBM berichtetes Ergebnis |
| Zeit bis zum ersten Token (TTFT) | Einzelanfrage mit dem 120-Milliarden-Parameter-Modell; Prompt mit 130.000 Tokens | Bis zu 56× Beschleunigung bei 130.000 Tokens; ohne Cache 32,14 Sekunden bei dieser Promptlänge. Die gecachte TTFT lag über die getesteten Promptlängen hinweg zwischen 0,193 und 0,57 Sekunden. |
| Durchsatz mit zunächst leerem G4-Cache | 200 Anfragen über 28 gleichzeitige Verbindungen, zufällig aus 100 Prompts ausgewählt | GPU-Neuberechnung: 0,19 Anfragen pro Sekunde (RPS); mit IBM Storage Scale ECE: 4,26 RPS. |
| Durchsatz bei konkurrierendem Netzwerkverkehr | Vier Clients erzeugten 200 GB/s konkurrierenden Netzwerkverkehr | Mit Cache: 3,6 RPS, verglichen mit 4,26 RPS im Lauf ohne diesen Verkehr. |
Der Anfragen-Durchsatz fiel im Störverkehrslauf gegenüber dem sauberen Netzlauf anhand der angezeigten Werte um rund 15,5 %: (4,26 − 3,6) ÷ 4,26. IBM bezeichnet den Rückgang im Papier als 18 %; diese Angabe passt nicht zu den dort aufgeführten Durchsatzwerten.
IBM nennt außerdem bis zu 315 GB/s Lesedurchsatz für die acht Speicherknoten. Die Test-Clients konnten bis zu 80 GB/s nutzen, schöpften den angegebenen Speicherdurchsatz im Benchmark aber nicht vollständig aus.
Die 56×-Angabe beschreibt einen einzelnen Testlauf mit festgelegtem Modell, Prompt und Software-Stack. Sie ist kein allgemeiner Leistungsfaktor für andere Inferenzsysteme.
