HarnessMM reduz tokens em benchmarks de programação, mas o resultado varia

A versão 1 do preprint HarnessMM, datada de 23 de outubro de 2026, relata menos tokens por tarefa em benchmarks de programação quando o método é integrado a um harness. O resultado varia entre o DeepSeek Harness e o Codex e entre os benchmarks: no HumanEval, a redução de tokens veio acompanhada de maior taxa de sucesso no DeepSeek Harness e de sucesso estável no Codex. Os autores mediram tokens, não valores de contas ou tempo de execução. O artigo no arXiv descreve o método e os testes.

Como o HarnessMM reutiliza ações

Um harness coordena a interação de um agente de programação com ferramentas. O HarnessMM altera essa camada de coordenação, sem mudar os pesos do modelo: ele registra ações que já foram decididas e, quando as condições declaradas correspondem ao retorno observado de uma ferramenta, pode executar uma dessas ações pela interface nativa do harness, sem chamar novamente o modelo para aquele raciocínio.

O método reúne três etapas. Os Executable Decision Graphs (EDGs) guardam ações, argumentos, dependências e condições de execução. O Guarded Decision Reuse (GDR) verifica essas condições com base nos retornos das ferramentas. Já o Certified Callback Substitution (CCS) executa uma ação aprovada e registra que o callback de raciocínio previsto foi omitido. Se as condições não forem atendidas ou surgir uma decisão semântica nova, o fluxo volta ao agente de raciocínio.

O certificado registra o caminho de execução e a omissão do callback. Por si só, não demonstra que a ação armazenada estava semanticamente correta nem o que o modelo teria respondido caso fosse chamado.

Resultados relatados nos benchmarks

Os autores compararam versões com e sem HarnessMM em tarefas de teste do HumanEval e do MBPP-sanitized. A tabela reúne os quatro pares integrados descritos no artigo. Os tokens por tarefa somam entrada e saída; as porcentagens indicam a taxa de sucesso em cada conjunto.

No HumanEval, os autores relatam redução de 87,93% nos tokens por tarefa para o DeepSeek Harness e de 29,54% para o Codex. No MBPP-sanitized, a redução relatada para o DeepSeek Harness foi de 80,35%; para o Codex, o uso de tokens também caiu, mas a taxa de sucesso passou de 91,83% para 90,66%. Portanto, o resultado não foi igual entre harnesses e benchmarks.

O que entrou na contagem

O artigo divide os dados em conjuntos de treino, validação e teste: 33/33/98 tarefas no HumanEval e 85/85/257 no MBPP. A contagem inclui tokens de entrada e saída em todas as chamadas pagas por tarefa, inclusive chamadas malsucedidas, retornos ao modelo original e entradas em cache.

Na auditoria das 98 tarefas do HumanEval com o DeepSeek Harness, os autores contabilizaram 954 chamadas pagas sem HarnessMM e 415 com o método. Também registraram 147 bypasses certificados de callback. Esse último número mede os callbacks omitidos com certificado, não a diferença entre os totais de chamadas pagas.

Uma ablação separada testa partes do método

Além das comparações integradas, o artigo apresenta uma ablação de mecanismo com 257 tarefas do MBPP. Nessa configuração separada, o HarnessMM completo registrou 13,17 mil tokens por tarefa e 93,77% de sucesso. O controle com grafos de uso único registrou 18,03 mil tokens e 93,00% de sucesso; a condição que manteve os callbacks, 16,37 mil e 93,39%; e a execução de grafos desativada, 16,19 mil e 95,33%.

Esses números pertencem à ablação, não à comparação integrada do DeepSeek Harness no MBPP-sanitized, que registrou 10,61 mil tokens por tarefa e 91,83% de sucesso com HarnessMM. São protocolos distintos, com resultados próprios.

Os resultados da versão 1 do preprint medem tokens em tarefas de benchmark. Os autores não mediram valores cobrados, duração da execução ou consumo de energia; por isso, as reduções de tokens não são, por si, uma medição de economia financeira ou de tempo.