Supermicro anunció el 5 de noviembre de 2026 una solución conjunta de almacenamiento persistente de KV cache con IBM y NVIDIA. La arquitectura reúne servidores all-flash Petascale, IBM Storage Scale, NVIDIA Dynamo y conectividad Spectrum-X Ethernet, según el anuncio difundido por Supermicro. Las cifras de rendimiento asociadas a la propuesta proceden de pruebas de proveedores con una configuración concreta.
Qué aporta el almacenamiento compartido de KV cache
La caché KV guarda estados de clave y valor que el modelo ya ha calculado al procesar el contexto. Si una petición posterior reutiliza ese contexto, el sistema puede recuperar esos estados en lugar de volver a calcularlos.
IBM describe el almacenamiento compartido como una capa G4 dentro de una jerarquía que también incluye memoria de la GPU (G1), memoria del sistema (G2) y unidades NVMe locales (G3). En la prueba centrada en G4, NVIDIA Dynamo recuperó los datos desde IBM Storage Scale hasta la memoria RAM del equipo y después los transfirió a la GPU por bloques. La configuración desactivó las capas G1 y G2.
El vídeo de IBM Technology explica el mecanismo general: durante el preprocesamiento del prompt se generan estados KV que pueden reutilizarse durante la generación de tokens y en peticiones posteriores.
La configuración detrás de las pruebas
El documento técnico de IBM Redbooks describe una prueba con IBM Storage Scale ECE v6.0.0.1, NVIDIA Dynamo v0.9.0+ y vLLM v0.14.1, que sirvieron el modelo openai/gpt-oss-120b, preconfigurado en MXFP4. La caché KV utilizó precisión FP16.
El almacenamiento se repartió entre ocho servidores Supermicro Petascale ASG-1115S-NE316R, cada uno con procesador AMD EPYC 9535 y 16 unidades Micron E3 de 7,68 TB. El sistema de archivos usó una distribución 8+2P. Las inferencias se ejecutaron desde un equipo cliente SYS-212GB-FNR con cuatro GPU NVIDIA RTX PRO 6000 instaladas; el documento indica que el modelo de la prueba se ejecutó en una sola GPU. La configuración de red empleó tres conmutadores NVIDIA Spectrum-X SN5600.
IBM separó las pruebas de tiempo hasta el primer token (TTFT) de las de rendimiento concurrente. Para estas últimas, el ensayo procesó 200 solicitudes en 28 conexiones simultáneas, seleccionadas de 100 prompts. La caché G4 empezó vacía, así que el promedio de la ejecución incluyó el periodo inicial sin reutilización de datos. IBM Redbooks detalla la arquitectura y la metodología.
Qué midieron y qué significan las cifras
IBM Redbooks comunicó hasta 56 veces más rapidez en TTFT para una petición con un prompt de 130.000 tokens y el modelo de 120.000 millones de parámetros. En sus resultados, el TTFT sin caché fue de 0,572 segundos con 10.000 tokens y de 32,14 segundos con 130.000; con caché, se situó entre 0,193 y 0,57 segundos a lo largo de los tamaños de prompt probados.
Las pruebas de rendimiento concurrente y de tráfico de red fueron ensayos distintos. IBM publicó estos resultados:
| Prueba | Carga y condición | Resultado comunicado |
| TTFT, una petición | Modelo de 120.000 millones de parámetros; prompt de 130.000 tokens | Hasta 56× más rapidez con caché; TTFT sin caché de 32,14 s en el prompt de 130.000 tokens |
| Rendimiento concurrente | 200 solicitudes, 28 conexiones, 100 prompts; caché G4 inicialmente vacía | 0,19 solicitudes/s con recomputación y 4,26 solicitudes/s con caché; 1.048 s y 46,94 s para completar las 200 solicitudes, respectivamente |
| Tráfico de red concurrente | Cuatro clientes generaron 200 GB/s de tráfico de E/S de red competidor | 3,6 solicitudes/s con caché, frente a 4,26 solicitudes/s en la prueba limpia; 55,56 s para las 200 solicitudes con tráfico competidor |
En la comparación de rendimiento con y sin tráfico competidor, pasar de 4,26 a 3,6 solicitudes por segundo equivale a una caída aproximada del 15,5 %: (4,26 − 3,6) ÷ 4,26. El documento de IBM describe esa diferencia como del 18 %, un porcentaje que no coincide con los valores redondeados que muestra.
Para valorar un multiplicador de rendimiento, fíjate en el modelo, la carga y la configuración que lo produjeron: esas condiciones delimitan lo que la cifra permite comparar.
El documento de referencia de IBM es anterior al anuncio
La página de IBM Redbooks fecha la publicación del documento de arquitectura el 5 de junio de 2026 y señala que se actualizó por última vez el 20 de agosto de 2026. La página incluye la arquitectura compartida y los resultados de las pruebas que después acompañaron el anuncio conjunto de noviembre.
