HarnessMM ograniczył liczbę tokenów na zadanie w testach HumanEval i MBPP-sanitized, ale skala zmiany zależała od użytego harnessu i benchmarku. W wersji 1 preprintu datowanej na 23 października 2026 r. autorzy opisali też wzrost odsetka poprawnie rozwiązanych zadań w dwóch porównaniach DeepSeek Harness oraz niezmieniony wynik Codex w teście HumanEval. Wyniki i opis metody w preprincie HarnessMM
Jak HarnessMM zmienia działanie agenta programistycznego
Harness to warstwa, która koordynuje pracę agenta, jego modelu i narzędzi. HarnessMM zmienia tę warstwę, a nie wagi modelu: zapisuje wcześniej rozstrzygnięte akcje, ich argumenty i zależności, a potem sprawdza, czy odpowiedzi narzędzi spełniają zapisane warunki.
Metoda łączy trzy elementy. Wykonywalne grafy decyzji (EDG) przechowują akcje i warunki ich użycia. Ponowne użycie decyzji z kontrolą warunków (GDR) sprawdza obserwowane odpowiedzi narzędzi i zależności między akcjami. Jeśli warunki pasują, certyfikowane zastąpienie wywołania zwrotnego (CCS) przekazuje wybraną akcję do natywnego interfejsu narzędzia, pomijając przypisane jej kolejne wywołanie modelu do rozumowania. Gdy warunek nie pasuje albo potrzebna jest nowa decyzja semantyczna, sterowanie wraca do pierwotnego aktora.
Poświadczenie CCS rejestruje wykonanie akcji i pominięcie przypisanego wywołania zwrotnego. Samo w sobie nie dowodzi, że zapisana akcja była poprawna semantycznie ani co odpowiedziałby model, gdyby wywołanie jednak nastąpiło.
Wyniki testów HumanEval i MBPP-sanitized
Poniższe wartości to wyniki podane przez autorów dla zadań testowych. Liczba tokenów oznacza tysiące tokenów wejściowych i wyjściowych na zadanie.
| Benchmark i harness | Zadania testowe | Tokeny na zadanie bez HarnessMM | Tokeny na zadanie z HarnessMM | Sukces bez HarnessMM | Sukces z HarnessMM |
| HumanEval, DeepSeek Harness | 98 | 96,28 tys. | 11,62 tys. | 71,43% | 85,71% |
| HumanEval, Codex | 98 | 66,72 tys. | 47,02 tys. | 90,82% | 90,82% |
| MBPP-sanitized, DeepSeek Harness | 257 | 53,98 tys. | 10,61 tys. | 90,27% | 91,83% |
W HumanEval autorzy podali redukcję liczby tokenów o 87,93% dla DeepSeek Harness i o 29,54% dla Codex. W teście MBPP-sanitized redukcja dla DeepSeek Harness wyniosła 80,35%. To wyniki dla konkretnych połączeń harnessu i benchmarku, a nie jedna wartość opisująca wszystkie modele i zadania.
Co obejmuje liczba tokenów
Autorzy podzielili HumanEval na 33 zadania treningowe, 33 walidacyjne i 98 testowych. Dla MBPP podział wynosił odpowiednio 85, 85 i 257 zadań. W zliczaniu uwzględnili tokeny wejściowe i wyjściowe we wszystkich płatnych wywołaniach modelu, także nieudanych, powrotach do pierwotnego aktora i tokenach wejściowych z cache.
W audycie 98 zadań HumanEval DeepSeek Harness wykonał 954 płatne wywołania bez HarnessMM i 415 z tą metodą. Różnica wynosi 539 wywołań. Osobno autorzy odnotowali 147 certyfikowanych pominięć callbacku; ta liczba opisuje inny pomiar niż łączna różnica w liczbie płatnych wywołań.
Liczba tokenów nie jest pomiarem opłat w pieniądzach, czasu wykonania ani zużycia energii. Wyniki w tych testach nie mówią więc, o ile zmieniłby się rachunek za API lub czas działania konkretnego projektu.
Osobna ablacja mechanizmu na MBPP
Autorzy przeprowadzili też odrębną ablację na 257 zadaniach MBPP. To inne porównanie niż zintegrowany test DeepSeek Harness, w którym raportowano 10,61 tys. tokenów na zadanie i 91,83% sukcesu.
| Wariant ablacji | Tokeny na zadanie | Sukces |
| Pełne HarnessMM | 13,17 tys. | 93,77% |
| Grafy używane jednokrotnie | 18,03 tys. | 93,00% |
| Zachowane callbacki | 16,37 tys. | 93,39% |
| Wyłączone wykonywanie grafu | 16,19 tys. | 95,33% |
W tej ablacji pełne HarnessMM miało najniższe zużycie tokenów spośród wymienionych wariantów, ale najwyższy odsetek sukcesu odnotowano przy wyłączonym wykonywaniu grafu. Zestawienie pokazuje, że mniejsza liczba tokenów i skuteczność rozwiązywania zadań to odrębne wyniki pomiaru.
