Improvement Dynamics Model (IDM) przewiduje wyniki poszczególnych zadań po proponowanej zmianie programu agenta AI. Prognoza może skłonić meta-agenta do jednej dodatkowej poprawki, ale wynikowy agent i tak zostaje poddany ocenie. Taki mechanizm opisuje preprint Predict Before You Modify: Learning Improvement Dynamics for Self-Evolving Agents.
Dzięki temu system może wykorzystać przewidywany skutek zmiany, zanim sprawdzi ją w zadaniu. IDM nie przebudowuje jednak modelu bazowego: badane podejście modyfikuje program agenta, w tym jego kod i instrukcje.
Co przewiduje IDM
W systemie HyperAgents agent zadaniowy rozwiązuje problemy, a meta-agent może modyfikować jego program oraz własny. IDM to edytowalny program, który wywołuje zamrożony model językowy i prognozuje wyniki na poziomie zadań. Przygotowując prognozę, uwzględnia archiwum wcześniejszych prób, wybranego agenta-rodzica, zaobserwowane wyniki tego agenta oraz proponowaną zmianę w kodzie.
Prognoza obejmuje prawdopodobieństwa wyników poszczególnych zadań, a w niektórych przypadkach także szacunki wyników liczbowych. Rozróżnienie typów niepowodzeń ma znaczenie: nierozwiązane zadanie i brak wyniku mogą wymagać innych poprawek.
Jedna dodatkowa poprawka, potem ocena
Zagregowana prognoza decyduje, czy poprosić o najwyżej jedną dodatkową poprawkę. Prognozy dla poszczególnych zadań mogą ukierunkować tę zmianę. Po poprawce IDM ponownie ocenia proponowany diff, czyli różnicę między wersjami kodu, a następnie system sprawdza agenta potomnego — także wtedy, gdy ostatnia prognoza jest niekorzystna.
Badanie opisuje też sposób aktualizowania samego IDM. Co pięć generacji meta-agent może zaproponować jego nową wersję. Kandydat jest sprawdzany na kolejnych pięciu rekordach, podczas gdy dotychczasowy IDM nadal działa. Nowa wersja zostaje przyjęta, jeśli obniża błąd prognoz dla zadań i nie zwiększa centrowanego średniego błędu kwadratowego. Prognoza steruje więc możliwością poprawki i wyborem predyktora; nie zastępuje oceny zmienionego agenta.
Cztery dziedziny i różne miary
Eksperymenty objęły programowanie w Polyglot, ocenę artykułów naukowych, projektowanie funkcji nagrody dla robotów w symulatorze Genesis oraz ocenianie matematyki na poziomie olimpiad. Każda metoda przeszła pięć pełnych przebiegów po 40 generacji.
W osobnym teście 166 zadań programistycznych nieużywanych wcześniej do ewaluacji mediana wzrostu odsetka rozwiązanych zadań względem wspólnego agenta początkowego wyniosła 13,25 punktu procentowego dla Selective IDM i 5,42 punktu dla HyperAgents. Początkowy agent rozwiązał 16,27% zadań. Są to zmiany względem tego samego punktu odniesienia, a nie wartości AUBC.
Wyniki programowania a zużycie tokenów
W przebiegach programistycznych preprint zestawia medianę AUBC po 40 generacjach ze średnim zużyciem tokenów w pełnym przebiegu:
| Metoda | Mediana AUBC po 40 generacjach | Średnie zużycie tokenów w pełnym przebiegu |
| Selective IDM | 0,306 | 170,22 mln |
| HyperAgents | 0,210 | 49,45 mln |
AUBC (pole pod krzywą budżetu) i odsetek rozwiązanych zadań to odrębne miary. W pełnych przebiegach wyższej medianie AUBC dla Selective IDM towarzyszyło większe zużycie tokenów. Przy dopasowanym budżecie wynoszącym 44,21 mln tokenów autorzy preprintu raportują medianę AUBC dla Selective IDM wyższą o 10,9% niż dla HyperAgents.
Rozliczenie tokenów obejmowało rozwijanie agentów, ocenę zadań, prognozowanie, aktualizacje IDM i walidację. Sama liczba tokenów nie określa całkowitego zużycia mocy obliczeniowej, energii ani kosztu pieniężnego. Autorzy podają też, że test robotyki odbywał się w symulacji; wyniki benchmarków nie dowodzą przydatności metody do zastępowania ludzkiej oceny ani wdrażania bez zabezpieczeń i nadzoru.
