HarnessMM interviene sull’harness, cioè sul livello che coordina gli strumenti di un agente di programmazione, per riutilizzare alcune azioni già risolte invece di richiamare ogni volta il modello. In un preprint datato 23 ottobre 2026, gli autori riportano meno token per attività in prove di codice con DeepSeek Harness e Codex; entità del calo e tasso di successo cambiano secondo il benchmark. Il preprint su arXiv riporta risultati di test, non misure di risparmio economico o di tempo.
Come HarnessMM decide quando riusare un’azione
Il metodo memorizza azioni, argomenti, dipendenze e condizioni di esecuzione in grafi di decisione eseguibili. Guarded Decision Reuse (GDR) controlla le condizioni dichiarate confrontandole con i riscontri osservati dagli strumenti. Quando le dipendenze sono soddisfatte e i riscontri corrispondono alle condizioni, Certified Callback Substitution (CCS) può inviare l’azione memorizzata all’interfaccia nativa dello strumento, saltando il callback di ragionamento registrato per quel passaggio. I pesi del modello restano invariati.
Se le condizioni non sono soddisfatte, il caso non è supportato o serve una nuova decisione semantica, il controllo torna all’attore di ragionamento originale. Il certificato registra il percorso di esecuzione e l’omissione del callback: non attesta che l’azione memorizzata fosse semanticamente corretta né quale risposta avrebbe prodotto la chiamata omessa.
Che cosa mostrano i benchmark di programmazione
Gli autori confrontano ogni harness con e senza HarnessMM sugli stessi benchmark. I valori sono migliaia di token di input e output per attività; le percentuali indicano il tasso di successo riportato.
| Benchmark e harness | Attività di test | Token per attività senza/con HarnessMM (migliaia) | Successo senza/con HarnessMM |
| HumanEval, DeepSeek Harness | 98 | 96,28 / 11,62 | 71,43% / 85,71% |
| HumanEval, Codex | 98 | 66,72 / 47,02 | 90,82% / 90,82% |
| MBPP-sanitized, DeepSeek Harness | 257 | 53,98 / 10,61 | 90,27% / 91,83% |
| MBPP-sanitized, Codex | 257 | 129,55 / 49,22 | 91,83% / 90,66% |
Su HumanEval, gli autori riportano una riduzione dei token dell’87,93% per DeepSeek Harness e del 29,54% per Codex. Sul test MBPP-sanitized di DeepSeek Harness, la riduzione riportata è dell’80,35%. Il risultato sul tasso di successo varia insieme al contesto: aumenta nelle due prove di DeepSeek Harness, resta invariato per Codex su HumanEval e diminuisce per Codex su MBPP-sanitized.
Che cosa comprende il conteggio dei token
I test usano suddivisioni personalizzate: 33 attività per l’addestramento, 33 per la validazione e 98 per il test HumanEval; per MBPP, rispettivamente 85, 85 e 257. Il conteggio per attività comprende i token di input e output delle chiamate a pagamento, incluse quelle fallite, i fallback e gli input in cache.
Nell’audit delle 98 attività HumanEval, gli autori registrano 954 chiamate a pagamento senza HarnessMM e 415 con il metodo. Separatamente, riportano 147 bypass certificati del callback. Sono conteggi distinti: le chiamate pagate e i bypass certificati descrivono aspetti diversi dell’esecuzione.
Che cosa aggiunge l’ablation separata di MBPP
Una prova distinta su 257 attività MBPP isola diverse componenti del metodo; non coincide con il confronto integrato di DeepSeek Harness, che ha registrato 10,61 mila token per attività e un successo del 91,83%. In questa ablation, HarnessMM completo ha ottenuto 13,17 mila token per attività e il 93,77% di successo. I grafi a uso singolo hanno registrato 18,03 mila token e il 93,00%; mantenendo i callback, i valori sono stati 16,37 mila e 93,39%. Con l’esecuzione dei grafi disattivata, il test ha registrato 16,19 mila token e il 95,33% di successo. La prova ha usato un tentativo per attività e condizioni comuni di authoring, contesto, strumenti e limiti.
Che cosa misurano i risultati
Le cifre descrivono i test HumanEval e MBPP-sanitized riportati dagli autori del preprint. Le metriche sono token per attività e tasso di successo: il lavoro non quantifica spesa monetaria, durata dell’esecuzione o consumo energetico.
