W osobnej symulacji opisanej przez Keegan Wang i Anantika Mannby pięć agregatorów przekazało dalej błędną odpowiedź pracownika w 751 z 757 przypadków, w których pracownik dał się zwieść. Gdy agregatory otrzymały odzyskane źródło, nie popełniły błędu w 780 próbach. Badanie dotyczyło fikcyjnych zadań w kontrolowanym środowisku, a jego autorzy opisali wyniki w pracy opublikowanej w arXiv.

Co badacze uznali za szkodliwą zmianę odpowiedzi?

Szkodliwa zmiana odpowiedzi (ang. harmful revision) zachodziła wtedy, gdy model najpierw odpowiadał poprawnie, a po interakcji z innym agentem przyjmował błędną odpowiedź zgodną z fałszywym dokumentem. Zadania opierały się na fikcyjnych opowiadaniach z pytaniami wielokrotnego wyboru; prawdziwe dokumenty pozostawały dostępne obok fałszywych. Te ostatnie zawierały wskazówki, które pozwalały je rozpoznać, między innymi datę korekty wcześniejszą niż data poprawianego dokumentu.

Dlaczego wyniki zależały od rodzaju ataku?

W teście Claude Code z pięcioma fałszywymi dokumentami w zbiorze 35 plików Opus 5 zmienił poprawną odpowiedź na błędną w 1 ze 180 prób przy samodzielnym czytaniu. Gdy delegował czytanie Haiku 4.5, liczba takich zmian wzrosła do 75 na 180. W tej konfiguracji Opus 5 nie miał bezpośredniego dostępu do plików i korzystał z narzędzia Task.

W odrębnym teście Codex, dotyczącym sfałszowanej noty autorytetu, GPT-5.6-sol nie zmienił poprawnej odpowiedzi w żadnej ze 180 prób samodzielnego czytania. Gdy polegał na GPT-5.6-terra, błędna zmiana nastąpiła w 44 próbach. Ograniczenie delegowania w Codexie egzekwowano instrukcjami i sprawdzano w każdej próbie, a nie narzędziowo jak w opisanym teście Claude Code.

Samodzielne czytanie nie chroniło przed każdym rodzajem fałszywego dokumentu: w teście Codexu z notą korekcyjną GPT-5.6-sol zmienił odpowiedź na błędną w 172 ze 180 prób, mimo że czytał pliki bezpośrednio. Wyniki tych konfiguracji nie tworzą wspólnego rankingu modeli — różniły się zarówno rodzajem ataku, jak i sposobem ograniczenia dostępu podczas delegowania.

Jak błąd pracownika trafiał do agregatora?

W osobnym eksperymencie symulacyjnym badacze sprawdzili łańcuch trzech agentów: atakującego, pracownika i agregatora. Pięć testowanych agregatorów powtórzyło błędną odpowiedź w 751 z 757 przypadków, w których pracownik wcześniej dał się oszukać. W teście kontrolnym z uczciwym pracownikiem agregatory nie popełniły błędu w 780 próbach. Gdy otrzymywały odzyskane źródło, również nie popełniły błędu w 780 próbach. To wyniki oddzielnej symulacji, a nie pomiar działania systemów używanych przez klientów.

Projektując łańcuch agentów, warto przekazywać agregatorowi dokument źródłowy, a nie samo streszczenie pracownika.

W innym teście, tym razem z użyciem rzeczywistego środowiska agentowego, badacze odnotowali 15 błędnych zmian odpowiedzi w 40 próbach bazowych. Gdy weryfikator musiał przytoczyć fragment źródłowego dokumentu, wynik spadł do 3 na 40; przy weryfikatorze zachęcanym do sceptycyzmu — do 1 na 40. Autorzy uznali te dwa wyniki za statystycznie nierozróżnialne w tym teście.

Co wyniki mówią o działaniu agentów AI?

Badanie pokazało, że błąd może przejść z jednego agenta do następnego, a udostępnienie źródła ograniczyło błędy w konkretnym teście agregatorów. Nie oszacowało jednak, jak często podobne pomyłki występują w zwykłym użyciu przez klientów: zadania opierały się na fikcyjnych faktach i działały w odizolowanym środowisku.

Autorzy wskazali ograniczenie w wyjaśnianiu przyczyny: mniejsza liczba etapów korzystania z narzędzi korelowała z błędami, ale nie dowodzi, że ograniczenie weryfikacji je spowodowało. Delegowanie zmieniało zarazem ilość użycia narzędzi i informacje dostępne agentowi nadzorującemu. W 3652 parach powtórzeń dwa pomiary tej samej informacji różniły się w 13 proc. przypadków, dlatego poszczególne wyniki prób należy traktować jako szacunki.