Tom’s Hardware opisał 29 października 2026 r. prototyp benchmarku CPU dla agentów AI, który odtwarza zapisane sesje i mierzy liczbę ukończonych zadań na sekundę przy rosnącej współbieżności. To opis metody, nie gotowy ranking procesorów. Kluczowe jest rozdzielenie dwóch prób: odtwarzanie pomija inferencję GPU na żywo, a osobny test uwzględnia ją wraz z kolejkami agentów.
Spis treści
- Co mierzy test i jak liczy przepustowość
- Jak zapisane sesje wracają do testu
- Odtwarzanie i inferencja na żywo obejmują różne części pracy
- Jakie zadania i systemy obejmuje prototyp
- Inne deklaracje wydajności mierzą coś innego
Co mierzy test i jak liczy przepustowość
Sesja oznacza tu jedno zadanie ukończone od początku do końca. Prototyp podaje liczbę takich sesji na sekundę dla kolejnych poziomów współbieżności, czyli liczby zadań wykonywanych równolegle.
Tom’s Hardware definiuje przepustowość szczytową jako najwyższą zmierzoną liczbę sesji na sekundę wraz z odpowiadającym jej poziomem współbieżności. Osobno opisuje przepustowość idealną: czas wykonania najwolniejszych 5% sesji nie może przekroczyć 1,5 raza czasu pojedynczej sesji przy bazowym poziomie współbieżności. Ten próg uwzględnia więc zarówno liczbę ukończonych zadań, jak i czas oczekiwania na wolniejsze z nich.
Jak zapisane sesje wracają do testu
Podczas nagrywania proxy przekazuje żądania agentów do serwera llama.cpp i zapisuje żądania oraz odpowiedzi modelu. Wywołania narzędzi i ich wyniki są rejestrowane osobno. W trakcie odtwarzania test sprawdza etykietę sesji i skrót żądania; niezgodność unieważnia przebieg. Porównuje też wywołania narzędzi z zapisanym śladem, a następnie zwraca zapisane wyniki.
Prototyp wykorzystuje własne agenty oparte na LangGraph i sekwencję 30 zadań. Próba zaczyna się od jednego procesu roboczego, zwiększa ich liczbę do maksymalnej liczby wątków CPU i powtarza każdy poziom trzy razy. Kolejni pracownicy rozpoczynają zadania w różnych punktach sekwencji, więc zadania o różnym czasie trwania nakładają się na siebie.
Odtwarzanie i inferencja na żywo obejmują różne części pracy
| Tryb próby | Odpowiedzi modelu | Inferencja GPU na żywo | Uwzględnione obciążenia |
| Zamrożone odtwarzanie | Zapisane odpowiedzi modelu i wyniki narzędzi | Nie | Obsługa agentów i wykonywanie narzędzi przy odtworzonym przebiegu |
| Inferencja na żywo | Model generuje tyle samo tokenów co w nagraniu, ale jego odpowiedź zostaje odrzucona; agent otrzymuje odpowiedź zapisaną | Tak | Inferencja, w tym prefill, dekodowanie i zachowanie pamięci podręcznej, a także kolejki agentów |
Zamrożona próba pozwala mierzyć pracę CPU przy powtarzalnym przebiegu bez czasu oczekiwania na generowanie odpowiedzi przez model. Próba na żywo obejmuje szerszy fragment działania systemu, dlatego jej wynik odpowiada na inne pytanie. Tom’s Hardware podał, że narzut izolacji Dockera w obecnej konfiguracji wynosił poniżej 2% w porównaniu z uruchomieniem bezpośrednio na sprzęcie.
Anglojęzyczne nagranie Zen van Riela pokazuje odrębną, poglądową metodę śledzenia aktywności CPU za pomocą skryptów Pythona i funkcji Claude Code. Van Riel zaznacza, że demonstracja nie jest rygorystycznym testem.
Jakie zadania i systemy obejmuje prototyp
Sześć profili agentów obejmuje analizę, programowanie, pracę z dokumentami, badania, wsparcie i zadania internetowe. Obecne zadania są jednorundowe, choć pojedyncze zadanie może obejmować wiele wywołań modelu i narzędzi. Profil badawczy przeszukuje lokalny anglojęzyczny zbiór Wikipedii liczący około 50 000 artykułów, a profil programistyczny korzysta z czterech małych projektów: dwóch w C i dwóch w Pythonie.
Tom’s Hardware opisał dwa typy systemów: stanowisko z 64-rdzeniowym procesorem Threadripper i 128 GB pamięci DDR5-6000 RDIMM oraz NVIDIA DGX Spark z układem GB10, 128 GB zunifikowanej pamięci, GPU Blackwell i procesorem Arm Grace. Firma podała też, że w przedstawionym artykule pierwsze rzeczywiste wyniki benchmarku pozostawały kolejnym krokiem.
Inne deklaracje wydajności mierzą coś innego
W analizie zleconej przez Arm Signal65 podał średnio 1,99 raza wyższą modelowaną wydajność na szafę dla Arm AGI CPU niż dla AMD EPYC 9755 w siedmiu obciążeniach. AMD opisało modelowane porównanie szafy o mocy 100 kW, oparte na testach infrastrukturalnych, i zaznaczyło, że jego zestaw nie modeluje pełnego procesu agentowego od początku do końca. Własny blog techniczny NVIDIA podał z kolei ponad 1,8 raza wyższą wydajność sandboxa dla NVIDIA Vera CPU niż dla tradycyjnych architektur x86 przy pełnym obciążeniu.
Te wyniki dotyczą różnych obciążeń i miar: modelowanej wydajności szafy, testów infrastruktury oraz wydajności sandboxa. Nie są wynikami sesji na sekundę z prototypu Tom’s Hardware. Osobny projekt open source opisuje pięć rodzin zadań, w tym wyszukiwanie w sieci, RAG, generowanie kodu, matematykę i badania chemiczne; wymienia też CUDA 11.8 lub nowszą wersję dla przyspieszania GPU oraz co najmniej 16 GB pamięci GPU dla inferencji LLM. To odrębny zestaw obejmujący różne rodzaje sprzętu i obciążeń, a nie wynik pomiaru opisanego prototypu.
