Die auf den 23. Oktober 2026 datierte arXiv-Arbeit zu HarnessMM berichtet für DeepSeek Harness 87,93 Prozent weniger Eingabe- und Ausgabetokens pro Aufgabe auf HumanEval. Auf MBPP-sanitized fiel der Rückgang ebenfalls deutlich aus; bei Codex waren die Ergebnisse je nach Benchmark anders. Die Zahlen stammen aus den Tests der Autoren und messen weder Geldkosten noch Laufzeit.
Wie HarnessMM Aktionen wiederverwendet
HarnessMM verändert die Steuerungsebene eines Coding-Agenten, das sogenannte Harness. Die Gewichte des zugrunde liegenden Modells bleiben laut Arbeit unverändert. Statt eine bereits gelöste Entscheidung wiederholt vom Modell treffen zu lassen, kann das Harness eine gespeicherte Werkzeugaktion ausführen, wenn die beobachteten Rückmeldungen und Bedingungen dazu passen.
Dazu speichern ausführbare Entscheidungsgraphen (Executable Decision Graphs, EDGs) Aktionen samt Argumenten und Abhängigkeiten. Guarded Decision Reuse (GDR) prüft anhand der Rückmeldungen der Werkzeuge, ob die Bedingungen für eine gespeicherte Aktion erfüllt sind. Bei fehlenden Voraussetzungen, nicht unterstützten Zuständen oder einer neuen semantischen Entscheidung geht die Kontrolle zurück an den ursprünglichen Reasoning-Actor.
Bei der Certified Callback Substitution (CCS) führt das Harness eine zugelassene Aktion über die native Werkzeugschnittstelle aus und hält fest, dass der registrierte Reasoning-Callback ausgelassen wurde. Diese Aufzeichnung belegt den Ausführungspfad und das Auslassen des Aufrufs. Sie belegt nicht, dass die Aktion inhaltlich richtig war oder was das Modell bei einem nicht erfolgten Aufruf geantwortet hätte.
Die Benchmarkwerte unterscheiden sich je nach Harness
Die Autoren verglichen jeweils dieselben Aufgaben mit und ohne HarnessMM. Die Tokenwerte geben Tausende Eingabe- und Ausgabetokens pro Aufgabe an; die Erfolgsquote steht für den Anteil gelöster Testaufgaben.
| Benchmark und Harness | Testaufgaben | Tokens pro Aufgabe ohne / mit HarnessMM (Tsd.) | Erfolgsquote ohne / mit HarnessMM |
| HumanEval, DeepSeek Harness | 98 | 96,28 / 11,62 | 71,43 % / 85,71 % |
| HumanEval, Codex | 98 | 66,72 / 47,02 | 90,82 % / 90,82 % |
| MBPP-sanitized, DeepSeek Harness | 257 | 53,98 / 10,61 | 90,27 % / 91,83 % |
| MBPP-sanitized, Codex | 257 | 129,55 / 49,22 | 91,83 % / 90,66 % |
Für DeepSeek Harness auf HumanEval berichten die Autoren 87,93 Prozent weniger Tokens pro Aufgabe; bei Codex auf demselben Benchmark waren es 29,54 Prozent. Auf MBPP-sanitized berichten sie für DeepSeek Harness eine Reduktion von 80,35 Prozent. Beim Codex-Vergleich sank die Erfolgsquote dagegen von 91,83 auf 90,66 Prozent. Ein einzelner Prozentwert beschreibt HarnessMMs Effekt also nicht über alle Tests hinweg.
Was in der Tokenbilanz steckt
Die Testaufteilung betrug bei HumanEval 33 Aufgaben für Training, 33 für Validierung und 98 für den Test; bei MBPP waren es 85, 85 und 257. Für die Tokenbilanz zählten die Autoren die Eingabe und Ausgabe über die bezahlten Modellaufrufe hinweg, einschließlich fehlgeschlagener Aufrufe und Rückfällen auf den ursprünglichen Actor. Auch zwischengespeicherte Eingaben gingen ein.
Im HumanEval-Audit für DeepSeek Harness sank die Zahl der bezahlten Aufrufe über 98 Aufgaben von 954 auf 415. Die Arbeit weist außerdem 147 zertifizierte Callback-Umgehungen aus. Diese Zahl zählt die dokumentierten ausgelassenen Callbacks, nicht die Differenz zwischen den gesamten Aufrufzahlen.
Ein separater, selbstberichteter Versuch von Josh Holtzman betraf einen vierteiligen Audit eines Infrastruktur-Repositorys, nicht HarnessMM: Er nannte 448.000 Tokens im Standardmodus, 665.000 im Code-Modus und 248.000 im Code-Modus mit einer zusätzlichen ausdrücklichen Anweisung. Holtzman schrieb, er habe jeden Aufbau zweimal ausgeführt. Das ist ein einzelner, aufgabenspezifischer Bericht und kein HarnessMM-Benchmark.
Die MBPP-Ablation prüfte einzelne Mechanismen
Eine separate Ablation mit 257 MBPP-Aufgaben untersuchte verschiedene Varianten des Verfahrens. Die vollständige HarnessMM-Konfiguration erreichte laut Autoren 13,17 Tausend Tokens pro Aufgabe bei 93,77 Prozent Erfolg. Bei einmalig verwendeten Entscheidungsgraphen waren es 18,03 Tausend Tokens und 93,00 Prozent; mit beibehaltenen Callbacks 16,37 Tausend Tokens und 93,39 Prozent. Ohne Ausführung der Entscheidungsgraphen verzeichnete die Arbeit 16,19 Tausend Tokens pro Aufgabe und 95,33 Prozent Erfolg.
Diese Ablation ist nicht der integrierte Vergleich von DeepSeek Harness auf MBPP-sanitized, der 10,61 Tausend Tokens und 91,83 Prozent Erfolg mit HarnessMM ergab. Die verschiedenen Konfigurationen zeigen außerdem, dass ein geringerer Tokenverbrauch nicht zwangsläufig mit einer höheren Erfolgsquote einhergeht.
Die Arbeit misst weder API-Kosten in Geld noch verstrichene Zeit oder Energieverbrauch. Sie nennt außerdem den Aufwand für das Erstellen, Auswählen und Wiederherstellen gespeicherter Aktionen sowie die aufgabenspezifische Anpassung als Faktoren, die den Nutzen schmälern können. Neue semantische Entscheidungen benötigen weiterhin den ursprünglichen Reasoning-Actor.
