La versión 1 de HarnessMM, fechada el 23 de octubre de 2026, comunica menos tokens por tarea en varios benchmarks de programación. El cambio varía según el harness y la prueba: en HumanEval, DeepSeek Harness redujo el recuento y elevó la tasa de éxito; en MBPP-sanitized, Codex usó menos tokens, pero su tasa de éxito bajó.
Cómo decide HarnessMM cuándo reutilizar una acción
HarnessMM modifica la coordinación del harness, la capa que organiza la interacción del agente con sus herramientas; no cambia los pesos del modelo. En vez de pedir razonamiento de nuevo para una acción ya resuelta, puede reutilizarla cuando la respuesta observada de una herramienta cumple las condiciones previstas por el sistema. Los autores describen el método en su prepublicación en arXiv.
El método guarda acciones, argumentos literales, dependencias y condiciones de guarda en un grafo de decisiones ejecutable, o EDG. La reutilización de decisiones guiada por condiciones (GDR) comprueba que se hayan completado las acciones previas y que los recibos públicos de las herramientas satisfagan esas condiciones. Si falta un requisito, la situación no está contemplada o hace falta una decisión semántica nueva, el control vuelve al actor de razonamiento original.
La sustitución certificada de callbacks (CCS) ejecuta una acción admitida mediante la interfaz habitual de la herramienta y registra que se omitió el callback de razonamiento correspondiente. Ese registro acredita la ruta de ejecución y la omisión del callback; no demuestra que la acción almacenada sea semánticamente correcta.
Qué resultados comunicaron los autores
En los tres pares de la tabla, el primer valor corresponde al harness sin HarnessMM y el segundo, al mismo harness con HarnessMM. Los autores midieron tokens de entrada y salida por tarea y la tasa de éxito en los conjuntos de prueba indicados.
| Benchmark y harness | Tareas de prueba | Tokens por tarea sin/con HarnessMM (miles) | Éxito sin/con HarnessMM |
| HumanEval, DeepSeek Harness | 98 | 96,28 → 11,62 | 71,43 % → 85,71 % |
| HumanEval, Codex | 98 | 66,72 → 47,02 | 90,82 % → 90,82 % |
| MBPP-sanitized, DeepSeek Harness | 257 | 53,98 → 10,61 | 90,27 % → 91,83 % |
| MBPP-sanitized, Codex | 257 | 129,55 → 49,22 | 91,83 % → 90,66 % |
Los resultados del artículo corresponden a las pruebas descritas por sus autores. En HumanEval, DeepSeek Harness pasó de 96,28 a 11,62 mil tokens por tarea y su éxito aumentó del 71,43 % al 85,71 %. Codex también redujo tokens en ese benchmark, con el éxito estable en el 90,82 %. En MBPP-sanitized, el éxito subió con DeepSeek Harness y bajó con Codex. El porcentaje de reducción, por tanto, no describe por sí solo todos los resultados.
Qué cuenta cada cifra
El artículo divide las tareas en conjuntos de entrenamiento, validación y prueba: 33/33/98 para HumanEval y 85/85/257 para MBPP. El recuento suma los tokens de entrada y salida de las llamadas pagadas del modelo en la tarea, incluidas las llamadas fallidas, los fallbacks y las entradas en caché.
En la auditoría de 98 tareas de HumanEval, los autores registraron 954 llamadas pagadas para DeepSeek Harness sin HarnessMM y 415 con el método. También contabilizaron 147 bypasses certificados. Las llamadas pagadas y los bypasses son medidas distintas: una cifra cuenta llamadas; la otra, callbacks registrados como omitidos mediante CCS.
La ablación de MBPP mide otra configuración
Además de la comparación integrada de MBPP-sanitized, el artículo presenta una ablación independiente de 257 tareas que cambia componentes del método. Sus cifras pertenecen a esa prueba, no al resultado integrado de DeepSeek Harness de 10,61 mil tokens por tarea y 91,83 % de éxito.
| Variante de la ablación de MBPP | Tokens por tarea (miles) | Éxito |
| HarnessMM completo | 13,17 | 93,77 % |
| Grafos de decisión de un solo uso | 18,03 | 93,00 % |
| Callbacks conservados | 16,37 | 93,39 % |
| Ejecución de EDG desactivada | 16,19 | 95,33 % |
El resultado con HarnessMM completo combinó menos tokens con más éxito que las variantes de grafos de un solo uso y callbacks conservados. Con la ejecución de EDG desactivada, el recuento fue de 16,19 mil tokens por tarea y el éxito, del 95,33 %. La tabla muestra por qué conviene leer juntas ambas métricas: un recuento menor no implica necesariamente una tasa de éxito mayor.
Qué permiten concluir estas pruebas
Los autores cuentan tokens, no euros, tiempo de ejecución ni consumo energético. Sus resultados describen las configuraciones y tareas de esos benchmarks; no miden el coste económico de una llamada ni el rendimiento en cualquier flujo de trabajo de programación. En HarnessMM, además, el certificado registra que se siguió una ruta de ejecución y se omitió un callback, mientras que la tasa de éxito del benchmark mide el resultado de las tareas.
