Tom’s Hardware beschreef op 29 oktober 2026 een prototype voor een CPU-benchmark voor agentische AI. De test herhaalt opgenomen antwoorden en toolresultaten terwijl het aantal gelijktijdige agentsessies stijgt, en telt hoeveel sessies per seconde klaar zijn. Het artikel publiceerde geen vergelijkende CPU-scores.
In dit artikel
- Wat de benchmark wil meten
- Van opname naar herhaling
- Twee runs, twee meetgrenzen
- Taken en systemen in het prototype
- Waarom andere AI-CPU-cijfers geen ranglijst vormen
Wat de benchmark wil meten
Een sessie is in deze test één agenttaak die van begin tot eind is voltooid. Tom’s Hardware wil het aantal voltooide sessies per seconde meten bij verschillende niveaus van gelijktijdigheid. Zo kan de test laten zien hoe de doorvoer verandert wanneer meer agents tegelijk CPU-tijd vragen.
De hoogste gemeten doorvoer, samen met het bijbehorende aantal gelijktijdige sessies, vormt de piekdoorvoer. Voor de voorgestelde ideale doorvoer geldt ook een grens voor wachttijd: de langzaamste 5 procent van de sessies mag niet langer duren dan 1,5 keer de tijd van één sessie bij de basisconcurrentie.
Van opname naar herhaling
Tijdens de opname stuurt een proxy modelverzoeken door naar een llama.cpp-server en legt de verzoeken en antwoorden vast. Toolaanroepen en de resultaten daarvan worden apart opgeslagen. De agenten zijn gemaakt met LangGraph, een raamwerk voor het bouwen van AI-agenten.
Bij het afspelen controleert de test het sessielabel en de hash van een verzoek. Een afwijking maakt de run ongeldig. Ook vergelijkt de test toolaanroepen met de opgenomen trace, waarna het opgeslagen toolresultaat wordt teruggegeven. Zo blijft de taak tijdens opeenvolgende runs zo gelijk mogelijk.
De test begint met één workerproces en verhoogt de gelijktijdigheid tot het maximale aantal CPU-threads. Elke stap wordt drie keer herhaald. De workers beginnen op verschillende punten in een reeks van 30 taken, zodat taken van uiteenlopende duur door elkaar lopen. Tom’s Hardware meldt dat de Docker-isolatie in de huidige opstelling minder dan 2 procent overhead toevoegt ten opzichte van bare metal.
Twee runs, twee meetgrenzen
De bevroren replay en de afzonderlijke run met live-inferentie meten verschillende delen van het systeem. Bij de bevroren replay komen de modelantwoorden uit de opname. Live GPU-inferentie maakt dus geen deel uit van die meting; de agent voert de opgenomen tooltaken wel opnieuw uit.
Bij live-inferentie genereert het model hetzelfde aantal tokens als in de opname. Het gegenereerde antwoord wordt vervolgens weggegooid en het opgenomen antwoord aan de agent teruggegeven. Deze run neemt de inferentie, waaronder prefill, decode en cachegedrag, en de wachtrijen van agenten mee.
Zen van Riel laat in een Engelstalige video een aparte demonstratie zien met Claude Code-hooks en Python-scripts om CPU-gebruik tijdens agenttaken te volgen. Hij noemt die demonstratie zelf geen rigoureuze test, dus ze levert geen gestandaardiseerde vergelijking tussen processors op.
| Testrun | Modelantwoorden | Live GPU-inferentie | Wat de meting omvat |
| Bevroren replay | Opgenomen antwoorden worden teruggegeven | Nee | CPU-werk en tooluitvoering bij herhaalde agenttaken |
| Live-inferentie | Het model genereert tokens; het antwoord wordt vervangen door het opgenomen antwoord | Ja | Inferentie, cachegedrag en wachtrijen naast de agenttaken |
Taken en systemen in het prototype
De zes LangGraph-persona’s behandelen analyse, programmeren, documentverwerking, onderzoek, support en webtaken. De taken zijn momenteel single-turn, al kan één taak meerdere modelaanroepen en toolacties bevatten.
Tom’s Hardware beschreef twee systemen voor de ontwikkeling en opnames: een Threadripper-testopstelling met 64 cores en 128 GB DDR5-6000 RDIMM-geheugen, en een NVIDIA DGX Spark met een GB10, 128 GB gedeeld geheugen, een Blackwell-GPU en een Arm Grace-CPU. Die systeemgegevens beschrijven de opstelling, niet een gepubliceerde rangschikking van de processors.
Waarom andere AI-CPU-cijfers geen ranglijst vormen
Andere gepubliceerde prestatieclaims gebruiken andere workloads en meetgrenzen. Signal65 rapporteerde voor een door Arm opgedragen analyse gemiddeld 1,99 keer zoveel gemodelleerde rackprestaties voor de Arm AGI CPU als voor de AMD EPYC 9755, over zeven workloads. De uitkomst was gemodelleerd op basis van het opgegeven serververmogen en gemeten prestaties per chip; Signal65 beschreef de geteste AGI CPU-systemen als vroege systemen.
AMD rapporteerde voor een gemodelleerde rackvergelijking van 100 kW een genormaliseerd geometrisch gemiddelde waarbij de EPYC 9965 op 2,37 keer de NVIDIA Vera uitkwam. AMD zei erbij dat de infrastructuurworkloads geen volledige end-to-end-agentpipeline modelleren. NVIDIA meldde zelf meer dan 1,8 keer de sandboxprestaties van traditionele x86-architecturen bij volle belasting. Rackprestaties, sandboxprestaties en voltooide agentsessies per seconde zijn verschillende meetwaarden, dus deze claims vormen samen geen CPU-ranglijst.
