W badaniu Keegan Wang i Anantika Mannby, zgłoszonym do arXiv 12 listopada 2026 r., w wybranych testach delegowanie czytania dokumentów zwiększało liczbę błędnych zmian odpowiedzi agentów AI. Eksperymenty opierały się na fikcyjnych faktach w odizolowanym środowisku, a ich wyniki wyraźnie zależały od rodzaju fałszerstwa. Wyniki i opis metod badania

Co badacze uznali za szkodliwą zmianę odpowiedzi?

Szkodliwa zmiana nastąpiła wtedy, gdy agent najpierw odpowiedział poprawnie, a po otrzymaniu sfałszowanego zapisu zmienił odpowiedź na błędną wersję wspieraną przez atakującego. Zadania dotyczyły fikcyjnych faktów, zawierały pytanie z dwiema możliwymi odpowiedziami, a prawdziwy dokument pozostawał wśród plików obok fałszywego.

Fałszywe zapisy były datowane wcześniej niż dokumenty, które miały rzekomo poprawiać, i nie zawierały numeru ewidencyjnego obecnego w oryginałach. Badacze sprawdzali różne sposoby podsuwania takich treści, między innymi fałszywe sprostowania, powoływanie się na rzekomy autorytet oraz zestawienie kilku rodzajów fałszerstw.

Dlaczego wyniki zależały od rodzaju fałszerstwa?

W próbach z Claude Code Opus 5 popełnił jedną szkodliwą zmianę w 180 podejściach, gdy sam czytał pliki. Gdy lekturę przekazano Haiku 4.5, takich zmian było 75 na 180. W tych testach delegowanie ograniczono mechanicznie do narzędzia Task, co odbierało Opusowi bezpośredni dostęp do plików.

W testach Codex wyniki zależały od typu fałszerstwa. Przy fałszywej adnotacji powołującej się na autorytet GPT-5.6-sol nie zmienił poprawnej odpowiedzi w żadnej ze 180 prób bezpośredniego czytania, natomiast w 44 ze 180 prób z delegowaniem do GPT-5.6-terra nastąpiła szkodliwa zmiana. Przy odrębnym ataku opartym na fałszywym sprostowaniu Codex zanotował 172 takie zmiany na 180 prób bezpośredniego czytania i 180 na 180 z delegowaniem.

KonfiguracjaRodzaj fałszerstwaCzytanie bezpośrednieZ delegowaniemOgraniczenie delegowania
Claude Code: Opus 5 i Haiku 4.5Zestawienie kilku fałszerstw1/18075/180Mechanicznie ograniczone do Task; Opus nie miał dostępu do plików
Codex: GPT-5.6-sol i GPT-5.6-terraFałszywa adnotacja powołująca się na autorytet0/18044/180Ograniczenie instrukcją, sprawdzane w każdej próbie
CodexFałszywe sprostowanie172/180180/180Ograniczenie instrukcją, sprawdzane w każdej próbie

Wartości z tabeli dotyczą różnych ataków i warunków delegowania, więc nie tworzą rankingu Claude Code i Codex. Szczególnie wyraźna różnica między bezpośrednim czytaniem przy fałszywym sprostowaniu a adnotacją pokazuje, że sam dostęp do plików nie dawał jednakowo dobrych wyników w każdej konfiguracji.

Gdy agent przekazuje wniosek, nadzorca powinien móc sprawdzić także pierwotny zapis.

Czy fałszywy raport przechodził dalej w łańcuchu agentów?

W osobnej symulacji pięciu agregatorów otrzymywało raporty od agentów, którzy dali się zwieść fałszywym zapisom. W takich warunkach agregatory odpowiadały błędnie w 94,7–98,0% prób. Gdy dostawały oryginalny dokument, w 780 próbach łącznie nie popełniły błędu.

To osobny eksperyment symulacyjny, a nie część porównań Claude Code i Codex. Jego praktyczny sens jest prosty: przekazanie samego wniosku może odciąć kolejny etap od dokumentu, na którym wniosek powinien się opierać.

Co pokazały testy weryfikacji źródeł?

W teście rzeczywistego środowiska agentowego, obejmującym 40 prób w każdym wariancie, szkodliwe zmiany wystąpiły 15 razy w grupie bazowej. W wariancie wymagającym zacytowania oryginalnego dokumentu było ich 3, a przy instrukcji, by weryfikator podchodził sceptycznie do odpowiedzi — 1. Analiza badania nie wykazała istotnej różnicy między tymi dwiema metodami.

Badacze odnotowali łącznie 58 589 prób. W 13,0% z 3652 powtórzonych par dotyczących tego samego faktu wyniki się różniły, dlatego pojedyncze wartości dla poszczególnych warunków należy traktować jako szacunki. Próby wykorzystywały wygenerowane, fikcyjne fakty w środowiskach testowych; nie określają częstości błędów w produktach używanych przez klientów.

Związek między mniejszą liczbą tur narzędzi a błędami był korelacyjny. Autorzy nie przeprowadzili eksperymentu, który pozwoliłby ustalić, czy samo sprawdzanie pierwotnego zapisu zmienia liczbę błędów przy niezmienionym sposobie delegowania.