EnvHarness to framework, który opakowuje istniejące środowisko treningowe i zmienia warunki interakcji widziane przez agenta, nie naruszając bazowej implementacji ani pierwotnego weryfikatora zadań. Ma to pozwolić dostosowywać trening do słabości ujawnionych podczas działania agenta. Tak opisuje go paper.
Co EnvHarness zmienia w środowisku treningowym
Framework działa na granicy standardowego interfejsu reset i step: pierwsza operacja przygotowuje środowisko, a druga wykonuje działanie agenta. EnvHarness modyfikuje to, z czym agent styka się podczas interakcji — na przykład stan początkowy, dostępne działania lub obserwacje — podczas gdy środowisko bazowe i jego pierwotny weryfikator pozostają bez zmian.
To nie samodzielny trener agentów. EnvHarness dostarcza zmodyfikowane środowiska, z których może korzystać odrębny mechanizm uczenia, taki jak uczenie umiejętności, dostrajanie modelu czy uczenie ze wzmocnieniem.
Stage, Contract i Chain: role komponentów
Paper nazywa trzy komponenty Stage, Contract i Chain. Dodatek do publikacji mapuje je na nazwy używane w kodzie: Setups, Rules i Link.
| Nazwa w paperze | Nazwa w kodzie | Rola |
Stage | Setups | Zmienia stan początkowy środowiska. |
Contract | Rules | Przekształca działania, przejścia lub obserwacje. |
Chain | Link | Łączy zadania albo środowiska w dłuższe epizody. |
Dzięki temu rozróżnieniu łatwiej ustalić, który element odpowiada za daną zmianę interakcji. W szczególności Chain łączy zadania lub środowiska; modyfikowanie działań, przejść i obserwacji należy do Contract.
Jak EnvRigger diagnozuje i testuje zmiany
Towarzyszący frameworkowi EnvRigger analizuje trajektorie agenta — sekwencje jego działań i wyników — aby wykryć słabości zachowania. Następnie tworzy kandydatów na komponenty środowiska i sprawdza je w nowych przebiegach, czyli rolloutach. Zgodnie z domyślnymi ustawieniami opisanymi w paperze EnvRigger wykonuje pięć bazowych rolloutów na zadanie, pięć świeżych rolloutów walidacyjnych na kandydata i ma budżet pięciu iteracji poprawek.
To pętla, a nie pojedyncza modyfikacja: obserwacje prowadzą do diagnozy, diagnoza do zmiany, a nowe rollouty sprawdzają jej działanie. Walidacja wykorzystuje świeże przebiegi, zamiast opierać się wyłącznie na trajektoriach, które wskazały problem.
Co pokazują benchmarki
W eksperymentach dotyczących uczenia umiejętności autorzy paperu z 2026 roku badali pięć benchmarków w czterech dziedzinach: ALFWorld, WebArena, SWE-bench Verified, OfficeQA i SpreadsheetBench. Epizody ewaluacyjne były rozłączne z epizodami treningowymi. Autorzy podali wzrost wyniku na zadaniach odłożonych poza trening do 9,0 punktu oraz 9,8% mniej kroków interakcji w zbiorczym podsumowaniu eksperymentów. Są to wyniki opisane przez autorów, a nie gwarancja poprawy dla dowolnego modelu czy zastosowania.
W SWE-bench Verified paper podaje wyniki dla budżetu 300 środowisk. Przy tym samym budżecie środowiska EnvHarness osiągnęły wynik sukcesu 54,79%, środowiska oryginalne 52,13%, a środowiska generowane 50,37%.
| Rodzaj środowiska | Sukces w SWE-bench Verified | Budżet środowisk |
| EnvHarness | 54,79% | 300 |
| Oryginalne | 52,13% | 300 |
| Generowane | 50,37% | 300 |
To odrębne porównanie skuteczności przy określonej liczbie środowisk; nie jest tym samym co wynik każdego modelu ani każdej metody uczenia. Pełne wyniki i opis eksperymentu znajdują się w paperze.
Autorzy przeprowadzili osobne eksperymenty uczenia ze wzmocnieniem z użyciem Qwen3-8B-base i metody GRPO, na benchmarkach ALFWorld i WebShop. Paper podaje poprawę w trzech z czterech metryk — nie we wszystkich:
| Metryka | Bez EnvHarness | Z EnvHarness |
| Sukces ALFWorld w rozkładzie treningowym | 81,4% | 87,9% |
| Sukces ALFWorld poza rozkładem treningowym | 89,6% | 88,8% |
| Wynik WebShop | 75,6 | 79,2 |
| Wskaźnik sukcesu WebShop | 66,0% | 67,4% |
Wynik ALFWorld poza rozkładem treningowym spadł z 89,6% do 88,8%. Zestawienie pokazuje, dlaczego wyników dla różnych benchmarków i metryk nie warto sprowadzać do jednej ogólnej obietnicy poprawy.
Integracja i środowiska testowe
Repozytorium wskazuje, że do podłączenia nowego benchmarku potrzebny jest most ActionableEnv, który łączy go z interfejsem używanym przez framework. Wymagania integracyjne opisuje dokumentacja projektu.
Wielokrotne przebiegi potrzebne do diagnozowania i walidacji oznaczają dodatkowy koszt obliczeniowy. Zifeng Wang zwrócił uwagę na ten aspekt w relacji VentureBeat; publikacja zaleca też środowiska cyfrowe, które można odtworzyć, zamiast bezpośredniego testowania zmian na systemach z nieodwracalnymi skutkami, takich jak produkcyjne bazy danych, prawdziwe konta klientów czy fizyczne roboty. Relacja VentureBeat przedstawia tę granicę jako praktyczny warunek bezpiecznego testowania.
Status projektu
Repozytorium Google Research datuje publikację paperu i strony projektu na 21 sierpnia 2026 roku, dzień po zgłoszeniu paperu do arXiv, które nastąpiło 20 sierpnia. Repozytorium zaznacza również, że EnvHarness nie jest oficjalnie wspieranym produktem Google. Daty zgłoszenia i status projektu podaje arXiv oraz repozytorium.
