Tom’s Hardware beschrieb am 29. Oktober 2026 einen Prototyp für einen CPU-Benchmark mit KI-Agenten. Er soll messen, wie viele Agentensitzungen ein System pro Sekunde abschließt, wenn mehrere Aufgaben parallel laufen. Der Artikel nennt noch keine vergleichenden CPU-Ergebnisse.
Inhalt
- Was der Prototyp misst
- So werden die Agentenläufe aufgezeichnet
- Replay und Live-Inferenz erfassen unterschiedliche Arbeit
- Aufgaben und Testsysteme
- Warum andere Agenten-CPU-Angaben keine Rangliste ergeben
Was der Prototyp misst
Eine Sitzung ist eine Aufgabe, die ein Agent vollständig erledigt. Der Test zählt abgeschlossene Sitzungen pro Sekunde, während die Zahl gleichzeitiger Worker steigt. Als Spitzendurchsatz gilt der höchste gemessene Wert samt der zugehörigen Zahl paralleler Worker.
Tom’s Hardware definiert außerdem einen idealen Durchsatzpunkt: Die langsamsten fünf Prozent der Sitzungen dürfen dort höchstens 1,5-mal so lange dauern wie eine einzelne Sitzung bei der niedrigsten Parallelität. So berücksichtigt die Kennzahl neben der Menge erledigter Aufgaben auch, wie stark die langsamsten Läufe ausgebremst werden.
So werden die Agentenläufe aufgezeichnet
Für die Aufzeichnung leitet ein Proxy die Modellanfragen an einen laufenden llama.cpp-Server weiter und speichert Anfragen und Antworten. Werkzeugaufrufe und ihre Ergebnisse werden separat protokolliert. In der späteren Wiedergabe prüft das System Sitzungskennung und Hash der Modellanfrage. Eine Abweichung macht den Lauf ungültig; Werkzeugaufrufe werden mit den gespeicherten Abläufen verglichen, und das Replay gibt die aufgezeichneten Werkzeugergebnisse zurück.
Der Durchlauf umfasst eine Folge von 30 Aufgaben. Er beginnt mit einem Worker und steigert die Parallelität bis zur maximalen Threadzahl der CPU. Jede Stufe wird dreimal wiederholt. Die Worker starten an unterschiedlichen Stellen der Aufgabenfolge, sodass sich Aufgaben überlappen können und unterschiedlich lange dauern.
Replay und Live-Inferenz erfassen unterschiedliche Arbeit
Beim eingefrorenen Replay kommen die Modellantworten aus den Aufzeichnungen. Die Agenten führen weiterhin Werkzeuge aus, aber der Durchlauf enthält keine Live-GPU-Inferenz. Eine getrennte Variante lässt das Modell dieselbe Zahl an Tokens erzeugen wie bei der Aufzeichnung, verwirft aber dessen Antwort und gibt die gespeicherte Antwort zurück. Dadurch fließen Inferenz, Vorverarbeitung und Tokenerzeugung sowie Cache-Verhalten und Warteschlangen der Agenten in diese Messung ein.
| Durchlauf | Modellantworten | Inferenz | Weitere erfasste Arbeit |
| Eingefrorenes Replay | Aufgezeichnete Antworten | Keine Live-GPU-Inferenz | Agentenabläufe und Werkzeugausführung |
| Live-Inferenz | Das Modell erzeugt passende Tokens; zurückgegeben wird die gespeicherte Antwort | Live-Inferenz ist Teil des Durchlaufs | Inferenzverarbeitung, Cache-Verhalten und Warteschlangen |
Diese Trennung ist wichtig, weil die beiden Varianten unterschiedliche Teile des Systems belasten. Das Replay isoliert die Agenten- und Werkzeugarbeit ohne Live-Inferenz; der zweite Durchlauf bezieht zusätzlich die Inferenzpipeline ein.
Das englischsprachige Video von Zen van Riel zeigt eine andere, illustrative Messung: Mit Claude-Code-Hooks und Python-Skripten beobachtet er die CPU-Auslastung während Agentenläufen. Van Riel sagt ausdrücklich, dass seine Vorführung kein rigoroser Test ist.
Aufgaben und Testsysteme
Der Prototyp nutzt sechs LangGraph-Personas für Analyse, Programmierung, Dokumente, Recherche, Support und Webaufgaben. Die Aufgaben sind derzeit Single-Turn, können aber mehrere Modellaufrufe und Werkzeugschritte enthalten. Für die Recherche greift eine Persona auf einen lokalen englischsprachigen Wikipedia-Bestand mit rund 50.000 Artikeln zu. Die Programmieraufgaben nutzen vier kleine Projekte, zwei in C und zwei in Python.
Tom’s Hardware beschreibt zwei Systemtypen: ein Threadripper-Testsystem mit 64 Kernen und 128 GB DDR5-6000-RDIMMs sowie einen NVIDIA DGX Spark mit GB10, 128 GB gemeinsam genutztem Speicher, Blackwell-GPU und Arm-Grace-CPU. Für die aktuelle Konfiguration gibt Tom’s Hardware den Mehraufwand durch Docker-Isolierung gegenüber einem Lauf direkt auf der Hardware mit weniger als zwei Prozent an.
Warum andere Agenten-CPU-Angaben keine Rangliste ergeben
Andere veröffentlichte Werte beziehen sich auf andere Aufgaben und Messgrenzen. Signal65 berichtet in einer von Arm beauftragten Analyse über durchschnittlich 1,99-mal so viel modellierte Rack-Leistung für Arm AGI CPU wie für AMD EPYC 9755, verteilt über sieben Workloads. Die Berechnung verbindet die angegebene Serverleistung mit gemessenen Werten pro Chip.
AMD nennt für eine modellierte Rack-Konfiguration mit 100 kW beim EPYC 9965 einen normalisierten geometrischen Mittelwert, der 2,37-mal so hoch wie bei NVIDIA Vera ausfällt. Die verwendeten Infrastruktur-Workloads bilden laut AMD keine vollständige Agentenpipeline vom Anfang bis zum Ende ab. NVIDIA wiederum berichtet für Vera unter Volllast von mehr als 1,8-mal so hoher Leistung in einem Agenten-Sandbox-Test wie bei traditionellen x86-Architekturen.
Ein separates Open-Source-Projekt mit dem Namen ritikraj7/cpu-centric-agentic-ai umfasst laut Projektbeschreibung Websuche, Retrieval-Augmented Generation, Codegenerierung, mathematische Aufgaben und Chemie-Recherche. Für GPU-Beschleunigung nennt die Beschreibung CUDA 11.8 oder neuer; für LLM-Inferenz werden mindestens 16 GB GPU-Speicher aufgeführt.
Rack-Leistung, Sandbox-Leistung und abgeschlossene Sitzungen pro Sekunde messen damit unterschiedliche Dinge. Die Werte von Signal65, AMD und NVIDIA sind keine Ergebnisse aus dem von Tom’s Hardware beschriebenen Replay-Test und lassen sich nicht zu einer gemeinsamen CPU-Rangliste zusammenfassen.
