W badaniu Keegan Wang i Anantika Mannby, zgłoszonym do arXiv 12 listopada 2026 r., w wybranych testach delegowanie czytania dokumentów zwiększało liczbę błędnych zmian odpowiedzi agentów AI. Eksperymenty opierały się na fikcyjnych faktach w odizolowanym środowisku, a ich wyniki wyraźnie zależały od rodzaju fałszerstwa. Wyniki i opis metod badania
Co badacze uznali za szkodliwą zmianę odpowiedzi?
Szkodliwa zmiana nastąpiła wtedy, gdy agent najpierw odpowiedział poprawnie, a po otrzymaniu sfałszowanego zapisu zmienił odpowiedź na błędną wersję wspieraną przez atakującego. Zadania dotyczyły fikcyjnych faktów, zawierały pytanie z dwiema możliwymi odpowiedziami, a prawdziwy dokument pozostawał wśród plików obok fałszywego.
Fałszywe zapisy były datowane wcześniej niż dokumenty, które miały rzekomo poprawiać, i nie zawierały numeru ewidencyjnego obecnego w oryginałach. Badacze sprawdzali różne sposoby podsuwania takich treści, między innymi fałszywe sprostowania, powoływanie się na rzekomy autorytet oraz zestawienie kilku rodzajów fałszerstw.
Dlaczego wyniki zależały od rodzaju fałszerstwa?
W próbach z Claude Code Opus 5 popełnił jedną szkodliwą zmianę w 180 podejściach, gdy sam czytał pliki. Gdy lekturę przekazano Haiku 4.5, takich zmian było 75 na 180. W tych testach delegowanie ograniczono mechanicznie do narzędzia Task, co odbierało Opusowi bezpośredni dostęp do plików.
W testach Codex wyniki zależały od typu fałszerstwa. Przy fałszywej adnotacji powołującej się na autorytet GPT-5.6-sol nie zmienił poprawnej odpowiedzi w żadnej ze 180 prób bezpośredniego czytania, natomiast w 44 ze 180 prób z delegowaniem do GPT-5.6-terra nastąpiła szkodliwa zmiana. Przy odrębnym ataku opartym na fałszywym sprostowaniu Codex zanotował 172 takie zmiany na 180 prób bezpośredniego czytania i 180 na 180 z delegowaniem.
| Konfiguracja | Rodzaj fałszerstwa | Czytanie bezpośrednie | Z delegowaniem | Ograniczenie delegowania |
| Claude Code: Opus 5 i Haiku 4.5 | Zestawienie kilku fałszerstw | 1/180 | 75/180 | Mechanicznie ograniczone do Task; Opus nie miał dostępu do plików |
| Codex: GPT-5.6-sol i GPT-5.6-terra | Fałszywa adnotacja powołująca się na autorytet | 0/180 | 44/180 | Ograniczenie instrukcją, sprawdzane w każdej próbie |
| Codex | Fałszywe sprostowanie | 172/180 | 180/180 | Ograniczenie instrukcją, sprawdzane w każdej próbie |
Wartości z tabeli dotyczą różnych ataków i warunków delegowania, więc nie tworzą rankingu Claude Code i Codex. Szczególnie wyraźna różnica między bezpośrednim czytaniem przy fałszywym sprostowaniu a adnotacją pokazuje, że sam dostęp do plików nie dawał jednakowo dobrych wyników w każdej konfiguracji.
Gdy agent przekazuje wniosek, nadzorca powinien móc sprawdzić także pierwotny zapis.
Czy fałszywy raport przechodził dalej w łańcuchu agentów?
W osobnej symulacji pięciu agregatorów otrzymywało raporty od agentów, którzy dali się zwieść fałszywym zapisom. W takich warunkach agregatory odpowiadały błędnie w 94,7–98,0% prób. Gdy dostawały oryginalny dokument, w 780 próbach łącznie nie popełniły błędu.
To osobny eksperyment symulacyjny, a nie część porównań Claude Code i Codex. Jego praktyczny sens jest prosty: przekazanie samego wniosku może odciąć kolejny etap od dokumentu, na którym wniosek powinien się opierać.
Co pokazały testy weryfikacji źródeł?
W teście rzeczywistego środowiska agentowego, obejmującym 40 prób w każdym wariancie, szkodliwe zmiany wystąpiły 15 razy w grupie bazowej. W wariancie wymagającym zacytowania oryginalnego dokumentu było ich 3, a przy instrukcji, by weryfikator podchodził sceptycznie do odpowiedzi — 1. Analiza badania nie wykazała istotnej różnicy między tymi dwiema metodami.
Badacze odnotowali łącznie 58 589 prób. W 13,0% z 3652 powtórzonych par dotyczących tego samego faktu wyniki się różniły, dlatego pojedyncze wartości dla poszczególnych warunków należy traktować jako szacunki. Próby wykorzystywały wygenerowane, fikcyjne fakty w środowiskach testowych; nie określają częstości błędów w produktach używanych przez klientów.
Związek między mniejszą liczbą tur narzędzi a błędami był korelacyjny. Autorzy nie przeprowadzili eksperymentu, który pozwoliłby ustalić, czy samo sprawdzanie pierwotnego zapisu zmienia liczbę błędów przy niezmienionym sposobie delegowania.