Supermicro ha annunciato il 5 novembre 2026, insieme a IBM e NVIDIA, una soluzione di storage condiviso e persistente per la cache KV. IBM Redbooks aveva già descritto l’architettura e i benchmark in un documento pubblicato il 5 giugno 2026 e aggiornato da ultimo il 20 agosto: la pagina non indica quando furono aggiunti i singoli passaggi. L’annuncio di Supermicro e la documentazione tecnica di IBM Redbooks collocano quindi la notizia di novembre dopo una descrizione tecnica precedente.
La soluzione annunciata e i suoi componenti
L’architettura combina server di storage all-flash Supermicro Petascale, IBM Storage Scale, il software d’inferenza NVIDIA Dynamo e la rete Ethernet NVIDIA Spectrum-X. I server annunciati usano processori AMD EPYC serie 9005. Il test descritto da IBM Redbooks impiega una configurazione più specifica, con processori AMD EPYC 9535 nei nodi di storage.
La cache KV conserva gli stati «chiave» e «valore» calcolati durante l’elaborazione del contesto, così un sistema può riutilizzarli invece di ricalcolarli. Nella prova con il livello di storage condiviso G4, Dynamo recuperava i dati dalla memoria condivisa alla RAM del nodo e poi li trasferiva alla memoria della GPU in blocchi. La prova disattivava i livelli di cache G1 nella memoria GPU e G2 nella memoria di sistema.
Configurazione e risultati dei test
I numeri pubblicati da IBM si riferiscono a una specifica configurazione: otto server Supermicro Petascale ASG-1115S-NE316R, ciascuno con un processore AMD EPYC 9535 e 16 unità Micron E3 da 7,68 TB. Lo stack software comprendeva IBM Storage Scale ECE v6.0.0.1, NVIDIA Dynamo v0.9.0+ e vLLM v0.14.1. Il modello era openai/gpt-oss-120b, pre-quantizzato in MXFP4.
Il nodo client era un Supermicro SYS-212GB-FNR con quattro GPU NVIDIA RTX PRO 6000 installate; la prova del modello usava una singola GPU. IBM descrive test distinti per il tempo al primo token e per il throughput, cioè il numero di richieste elaborate nell’unità di tempo.
| Prova | Carico e condizioni | Risultato riportato da IBM |
| Tempo al primo token (TTFT) | Una richiesta; prompt fino a 130.000 token; modello da 120 miliardi di parametri | Fino a 56× di accelerazione a 130.000 token; senza cache, 32,14 secondi a quella lunghezza. Con cache, il TTFT variava da 0,193 a 0,57 secondi nell’intervallo di prompt testato. |
| Throughput con cache inizialmente vuota | 200 richieste, 28 connessioni concorrenti e 100 prompt distinti | 0,19 richieste al secondo (RPS) senza riuso della cache; 4,26 RPS con IBM Storage Scale ECE. |
| Throughput con traffico di rete concorrente | Quattro client generavano 200 GB/s di traffico di rete; test con cache | 3,6 RPS, contro i 4,26 RPS della prova con rete libera. |
Il risultato di 56× riguarda il TTFT nella prova con quel modello e un prompt di 130.000 token. Non è un moltiplicatore valido automaticamente per modelli, software o installazioni diversi. Anche il dato di throughput con cache vuota include una fase iniziale in cui la cache G4 non conteneva ancora dati.
Nel test con traffico concorrente, il passaggio da 4,26 a 3,6 RPS equivale a una diminuzione di circa il 15,5%: (4,26 − 3,6) ÷ 4,26. IBM descrive la riduzione come pari al 18%, ma la percentuale non coincide con i valori arrotondati pubblicati.
Per interpretare un benchmark della cache KV, considera insieme il modello, la lunghezza del prompt, il carico concorrente e lo stato iniziale della cache: ciascuna condizione cambia il significato del risultato.
