La version 1 de l’article sur HarnessMM, datée du 23 octobre 2026, rapporte jusqu’à 87,93 % de tokens en moins par tâche pour DeepSeek Harness sur HumanEval. Le résultat varie selon le harness et le benchmark : sur les mêmes tâches, Codex affiche une baisse de 29,54 %, tandis que sur MBPP-sanitized, la baisse rapportée pour DeepSeek Harness est de 80,35 %. Ces mesures portent sur des tokens, pas sur le coût d’une facture ni sur le temps d’exécution. L’article de recherche publié sur arXiv détaille ces comparaisons.
Ce que HarnessMM change dans un agent de programmation
HarnessMM modifie la coordination du harness, la couche qui orchestre les appels aux outils et au modèle. Il ne modifie pas les poids du modèle. Lorsqu’un agent a déjà déterminé une action, la méthode peut la mémoriser avec ses arguments, ses dépendances et des conditions de garde. Ces conditions sont vérifiées à partir des retours observés des outils.
Si les dépendances sont remplies et que le retour satisfait la garde, le harness peut exécuter l’action mémorisée via l’interface native de l’outil, sans rappeler le modèle pour ce raisonnement. Si l’état ne correspond pas aux conditions ou qu’une nouvelle décision sémantique est nécessaire, le contrôle revient à l’acteur de raisonnement.
Le certificat associé à cette exécution consigne le chemin suivi et l’omission du callback de raisonnement prévu. Il ne prouve pas à lui seul que l’action mémorisée était correcte, ni ce qu’aurait répondu le modèle s’il avait été appelé.
Les résultats rapportés sur les benchmarks
Les auteurs comparent le nombre total de tokens d’entrée et de sortie par tâche, ainsi que le taux de réussite. Voici les résultats intégrés rapportés pour les ensembles de test :
| Benchmark et harness | Tâches de test | Tokens par tâche sans / avec HarnessMM (milliers) | Réussite sans / avec HarnessMM |
| HumanEval, DeepSeek Harness | 98 | 96,28 / 11,62 | 71,43 % / 85,71 % |
| HumanEval, Codex | 98 | 66,72 / 47,02 | 90,82 % / 90,82 % |
| MBPP-sanitized, DeepSeek Harness | 257 | 53,98 / 10,61 | 90,27 % / 91,83 % |
| MBPP-sanitized, Codex | 257 | 129,55 / 49,22 | 91,83 % / 90,66 % |
Les nombres de tokens sont exprimés en milliers de tokens d’entrée et de sortie par tâche. Sur HumanEval, la réussite de DeepSeek Harness passe de 71,43 % à 85,71 %, tandis que celle de Codex reste à 90,82 %. Sur MBPP-sanitized, la réussite de DeepSeek Harness augmente légèrement dans cette comparaison, alors que celle de Codex diminue. La réduction de tokens ne s’accompagne donc pas du même résultat de réussite dans chaque paire.
Ce que compte le total de tokens
Les auteurs ont séparé chaque benchmark en ensembles d’entraînement, de validation et de test : 33/33/98 tâches pour HumanEval et 85/85/257 pour MBPP. Les chiffres du tableau concernent les tâches de test. Le total de tokens inclut les entrées et sorties des appels payés du modèle pour les tâches, y compris les appels échoués, les reprises et les entrées mises en cache.
Dans l’audit des 98 tâches HumanEval de DeepSeek Harness, le nombre d’appels payés passe de 954 sans HarnessMM à 415 avec la méthode. L’article comptabilise aussi 147 contournements certifiés du callback. Ce sont deux mesures distinctes : la différence entre les totaux d’appels n’est pas le nombre de callbacks dont l’omission a été certifiée.
L’ablation MBPP isole des mécanismes différents
Une expérience distincte sur 257 tâches MBPP examine plusieurs variantes du mécanisme. HarnessMM complet atteint 13,17 milliers de tokens par tâche et 93,77 % de réussite. Les graphes à usage unique donnent 18,03 milliers et 93,00 %, tandis que le maintien des callbacks donne 16,37 milliers et 93,39 %. Lorsque l’exécution des graphes est désactivée, le résultat est de 16,19 milliers de tokens et 95,33 % de réussite.
Ces chiffres proviennent d’une ablation, pas de la comparaison intégrée MBPP-sanitized du tableau, où DeepSeek Harness avec HarnessMM atteint 10,61 milliers de tokens et 91,83 % de réussite. Les deux essais répondent à des questions différentes et ne se substituent pas l’un à l’autre.
Ce que les chiffres permettent de conclure
L’article de recherche, une prépublication arXiv datée du 23 octobre 2026, rapporte des résultats obtenus sur des benchmarks de programmation et des configurations précises. Il ne mesure ni coût monétaire, ni durée d’exécution, ni consommation d’énergie. Une baisse du nombre de tokens ne suffit donc pas à chiffrer une économie sur une facture ou un gain de vitesse. La portée des chiffres reste celle des tâches testées et des configurations comparées.
