De auteurs van een op 23 oktober 2026 gedateerde arXiv-preprint rapporteren dat HarnessMM het tokengebruik per taak verlaagde in specifieke programmeerbenchmarks. Op 98 HumanEval-taken daalde het gemiddelde voor DeepSeek Harness van 96,28 duizend naar 11,62 duizend tokens, terwijl het succespercentage steeg van 71,43% naar 85,71%. De uitkomst verschilde per benchmark en harness; de arXiv-preprint over HarnessMM meet tokens, geen geldbedragen of uitvoeringstijd.
Hoe HarnessMM een redeneerstap overslaat
Een harness regelt hoe een programmeeragent taken en toolaanroepen afhandelt. HarnessMM verandert die coördinatie: volgens de auteurs blijven de modelgewichten gelijk, terwijl de methode eerder opgeloste acties opslaat en ze onder voorwaarden opnieuw kan gebruiken.
De opgeslagen acties staan in Executable Decision Graphs (EDG’s), met hun argumenten, afhankelijkheden en voorwaarden. Guarded Decision Reuse (GDR) controleert die voorwaarden aan de hand van ontvangen reacties van tools. Als de benodigde stappen zijn afgerond en de reactie aan de voorwaarden voldoet, kan het harness een opgeslagen actie via de bestaande toolinterface uitvoeren. Certified Callback Substitution (CCS) registreert daarbij dat een vastgelegde redeneeraanroep is overgeslagen. Bij een niet-passende voorwaarde of een nieuwe semantische beslissing gaat de controle terug naar de oorspronkelijke redeneeractor.
Het uitvoeringscertificaat legt vast dat de actie is uitgevoerd en de redeneeraanroep is overgeslagen. Het bewijst niet dat de opgeslagen actie inhoudelijk juist was.
Resultaten op HumanEval en MBPP-sanitized
De tabel geeft de door de auteurs gerapporteerde resultaten weer. De tokenaantallen zijn duizenden input- en outputtokens per taak.
| Benchmark en harness | Testtaken | Tokens per taak zonder HarnessMM | Tokens per taak met HarnessMM | Succes zonder HarnessMM | Succes met HarnessMM |
| HumanEval, DeepSeek Harness | 98 | 96,28 | 11,62 | 71,43% | 85,71% |
| HumanEval, Codex | 98 | 66,72 | 47,02 | 90,82% | 90,82% |
| MBPP-sanitized, DeepSeek Harness | 257 | 53,98 | 10,61 | 90,27% | 91,83% |
Bij DeepSeek Harness daalde het tokengebruik op beide testsets; het succespercentage steeg daar ook. Bij Codex op HumanEval daalde het tokengebruik, terwijl het succespercentage gelijk bleef. De cijfers beschrijven dus de genoemde combinaties van harness en benchmark, niet één vaste besparing voor alle programmeertaken.
Wat de token- en calltellingen omvatten
De auteurs gebruikten voor HumanEval een verdeling van 33 taken voor training, 33 voor validatie en 98 voor de test. Voor MBPP waren dat respectievelijk 85, 85 en 257 taken. De tokenboekhouding telt input- en outputtokens voor de modelaanroepen van een taak mee, ook bij mislukte aanroepen en terugvallen op de redeneeractor. Ook gecachte input telt mee.
In de HumanEval-audit registreerden de auteurs 954 betaalde modelaanroepen zonder HarnessMM en 415 met de methode. Daarnaast legden ze 147 gecertificeerde omzeilingen van een redeneeraanroep vast. Dat zijn twee verschillende tellingen: het verschil tussen het aantal betaalde aanroepen is niet hetzelfde als het aantal gecertificeerde omzeilingen.
Een aparte MBPP-ablatie
De auteurs onderzochten het mechanisme ook in een afzonderlijke ablatie met 257 MBPP-taken. Die meting staat los van de geïntegreerde DeepSeek Harness-uitkomst hierboven. De varianten gebruikten dezelfde instructieopbouw, context, tools en limieten, met één poging per taak.
| Variant in de ablatie | Tokens per taak (duizend) | Succes |
| Volledige HarnessMM | 13,17 | 93,77% |
| Eenmalig gebruikte beslisgrafen | 18,03 | 93,00% |
| Redeneeraanroepen behouden | 16,37 | 93,39% |
| Uitvoering van beslisgrafen uitgeschakeld | 16,19 | 95,33% |
In deze ablatie had de volledige methode het laagste tokengebruik, maar niet het hoogste succespercentage. De uitkomst laat zien dat die twee metingen niet in elke configuratie dezelfde kant op bewegen.
De auteurs maten tokengebruik, geen API-kosten, verstreken tijd of energieverbruik.
