5 listopada 2026 r. Supermicro ogłosiło wspólne rozwiązanie trwałej pamięci podręcznej KV z IBM i NVIDIA, łączące serwery all-flash Petascale, IBM Storage Scale, NVIDIA Dynamo i sieć Spectrum-X Ethernet (komunikat Supermicro). IBM Redbooks datuje publikację dokumentu referencyjnego opisującego tę architekturę na 5 czerwca 2026 r., a jego ostatnią aktualizację na 20 sierpnia, przed listopadową zapowiedzią (dokument IBM). Opisane wyniki wydajnościowe dotyczą konkretnych testów dostawców, nie dowolnego modelu ani konfiguracji.
Jak działa współdzielony KV cache
Pamięć podręczna KV przechowuje wcześniej obliczone stany klucz-wartość, dzięki czemu system może ponownie wykorzystać kontekst zamiast obliczać go od początku. W architekturze IBM współdzielona pamięć masowa jest warstwą G4. W teście obejmującym tę warstwę NVIDIA Dynamo pobierało zapisany kontekst do pamięci RAM serwera, a następnie przesyłało go porcjami do pamięci GPU. Test G4 nie korzystał z warstw pamięci podręcznej G1 w pamięci GPU ani G2 w pamięci operacyjnej.
Konfiguracja testów i podane wyniki
W architekturze ogłoszonej przez Supermicro serwery Petascale wykorzystują procesory AMD EPYC 9005 Series. W konfiguracji opisanej przez IBM test działał na ośmiu serwerach Petascale ASG-1115S-NE316R z procesorami AMD EPYC 9535 i 16 dyskami Micron E3 o pojemności 7,68 TB każdy. Zastosowano IBM Storage Scale ECE v6.0.0.1, NVIDIA Dynamo v0.9.0+ oraz vLLM v0.14.1.
Model openai/gpt-oss-120b, wstępnie skwantyzowany do MXFP4, działał na jednym układzie NVIDIA RTX PRO 6000. Węzeł kliencki SYS-212GB-FNR miał zainstalowane cztery takie układy. Poniższe wyniki IBM przypisało odrębnym testom i warunkom:
| Test | Obciążenie i warunek | Wynik podany przez IBM |
| Czas do pierwszego tokenu (TTFT) | Pojedyncze żądanie; prompt o długości 130 000 tokenów | Do 56× krótszy TTFT z KV cache; przy 130 000 tokenów wynik bez cache wyniósł 32,14 s |
| Przepustowość | 200 żądań, 28 równoległych połączeń i 100 promptów; pamięć G4 początkowo pusta | 0,19 żądania/s bez cache i 4,26 żądania/s z IBM Storage Scale ECE |
| Ruch zakłócający | Czterech klientów wygenerowało 200 GB/s konkurencyjnego ruchu sieciowego | 3,6 żądania/s z cache, wobec 4,26 żądania/s w teście bez takiego ruchu |
W teście TTFT IBM podało zakres od 0,193 do 0,57 s dla pomiarów z cache przy różnych długościach promptu. Bez cache czas wyniósł 0,572 s dla 10 000 tokenów i 32,14 s dla 130 000 tokenów.
Test przepustowości obejmował 200 żądań losowanych ze zbioru 100 promptów. Ponieważ pamięć G4 zaczynała pusta, średni wynik całego przebiegu uwzględniał początkowy okres napełniania cache. IBM podało 1 048 s dla ponownego obliczania kontekstu oraz 46,94 s z IBM Storage Scale ECE.
Przy ruchu zakłócającym przepustowość spadła z 4,26 do 3,6 żądania/s, czyli o około 15,5% według tych zaokrąglonych wartości. IBM Redbooks opisało ten spadek jako 18%, co nie zgadza się z podanymi liczbami.
Wyniki cache najłatwiej ocenić, gdy wiadomo, jaki model, oprogramowanie, sprzęt i obciążenie stały za każdym pomiarem.
Co mówią daty dokumentu i zapowiedzi
IBM Redbooks opublikowało dokument referencyjny 5 czerwca 2026 r. i wskazuje 20 sierpnia jako datę jego ostatniej aktualizacji. Strona dokumentu opisuje architekturę i wyniki testów, które pojawiły się także w listopadowej zapowiedzi Supermicro. Nie podaje osobnych dat dodania poszczególnych fragmentów. Zapowiedź z 5 listopada dotyczyła wspólnego rozwiązania Supermicro, IBM i NVIDIA, a nie pierwszego publicznego opisu tej architektury w tym dokumencie.
