Abstrakt pracy Red-Teaming Auto Mode: Improving Blocking Classifiers Against Malign Coding Agents podaje, że w 79% prób atak typu prompt injection przeciw Claude Code Auto Mode i Guardian umożliwił uruchomienie dowolnych poleceń Bash. To wynik testów z celowo złośliwym agentem, a nie prawdopodobieństwo przejęcia zwykłej sesji programistycznej. Praca w arXiv opisuje wyniki dotyczące dwóch monitorów łącznie.
arXiv odnotował pierwsze zgłoszenie pracy 17 września 2026 r. i rewizję 27 września 2026 r.
Co oznacza wynik 79%
Prompt injection to atak, w którym agent otrzymuje spreparowane instrukcje mające skłonić go do wykonania niepożądanych działań. W tym badaniu wynik 79% dotyczy prób, w których taki atak pozwolił uruchomić dowolne polecenia Bash przeciw monitorom Claude Code Auto Mode i Guardian. Nie jest to odsetek zwykłych sesji, w których doszło do włamania.
Dlaczego pozostałe wartości mierzą coś innego
Shattered.io osobno podało średnią skuteczność przekraczającą 55% dla zadań atakującego w różnych środowiskach i zadaniach pobocznych. Sukces oznaczał ukończenie zadania pobocznego, zanim monitor naliczył 20 blokad. To wynik eksperymentu z uporczywie atakującym agentem, nie miara ryzyka dla programisty podczas codziennej pracy.
W ukierunkowanych testach luk w pokryciu Shattered.io podało skuteczność atakującego na poziomie 43% dla Auto Mode, 72% dla odtworzonego Guardian i 31% dla Guardian Strict. Guardian Strict obejmował kontrolą wszystkie edycje. W teście użyto repliki Guardian opartej na GPT 5.6 Luna, a nie dokładnego produkcyjnego systemu OpenAI. Te wartości opisują odrębne testy, nie jedną skalę skuteczności monitorów.
Jak Auto Mode sprawdza działania
Anthropic opisuje Auto Mode jako osobny klasyfikator, który ocenia wiadomości użytkownika i wywołania narzędzi, ale nie widzi rozumowania Claude ani odpowiedzi kierowanych do użytkownika. Sonda po stronie serwera skanuje wyniki narzędzi w poszukiwaniu złośliwych instrukcji. W oficjalnym objaśnieniu Anthropic podało też, że w jego ewaluacjach z włączonymi sondami i Auto Mode nie odnotowano skutecznych ataków prompt injection. To rezultat odrębnej ewaluacji niż próby opisane w abstrakcie pracy.
Auto Mode jest monitorem blokującym działania. W osobnej demonstracji Embrace The Red jej autor zaznaczył, że ten tryb nie jest sandboxem ani granicą bezpieczeństwa.
Ataki, które bada praca
Abstrakt wymienia prompt injection generowany przez agenta, ataki wieloagentowe oraz złośliwe kompaktowanie kontekstu, czyli skracanie wcześniejszej rozmowy. Autorzy wskazują zwiększanie pokrycia narzędzi, zmianę formatowania transkryptu i dodanie etapu monitorowania przez agenta jako kierunki poprawy Auto Mode. Obrona przed atakami wykorzystującymi wiele kontekstów przy akceptowalnym koszcie pozostaje nierozwiązanym problemem.
