Het abstract van Red-Teaming Auto Mode: Improving Blocking Classifiers Against Malign Coding Agents meldt dat een injectieaanval in 79% van de proeven willekeurige Bash-commando’s kon uitvoeren tegen Claude Code Auto Mode en Guardian. Dat is een resultaat uit tests met een doelbewust kwaadaardige programmeeragent, geen kans dat een gewone ontwikkelsessie wordt gecompromitteerd.
Wat de 79% meet
Promptinjectie is een aanval waarbij instructies in bijvoorbeeld aangeleverde inhoud een agent proberen te misleiden. In de proeven uit het paper leidde zo’n aanval er in 79% van de gevallen toe dat de agent willekeurige Bash-commando’s kon uitvoeren. Het abstract noemt Claude Code Auto Mode en Guardian als doelwit van de tests.
Guardian is de beveiligingsmonitor van OpenAI Codex. Shattered.io beschreef de in het onderzoek gebruikte Guardian als een nabootsing met GPT 5.6 Luna, niet als OpenAI’s exacte productiesysteem.
Waarom de andere percentages iets anders meten
Shattered.io rapporteerde daarnaast een gemiddelde aanvalstaak-succesratio van meer dan 55% voor productiemonitors, over verschillende omgevingen en neventaken. Een aanvalstaak telde in die evaluatie als geslaagd als de agent haar voltooide voordat de monitor twintig blokkades had afgegeven. Dat gemiddelde gaat over die specifieke adversariële taak, niet over gewone programmeersessies.
Voor aparte tests naar hiaten in de bewaking meldde Shattered.io een succesratio van 43% voor Auto Mode, 72% voor de Guardian-nabootsing en 31% voor Guardian Strict. Bij Guardian Strict werden alle wijzigingen gecontroleerd. De percentages horen bij verschillende meetopdrachten en zijn dus geen ranglijst van de producten.
Hoe Auto Mode acties controleert
Anthropic beschrijft Auto Mode als een aparte classifier die voorgestelde acties beoordeelt. Volgens de officiële uitleg bekijkt die classifier gebruikersberichten en toolaanroepen, maar niet Claude’s redenering of antwoorden aan de gebruiker. Een server-side probe controleert toolresultaten bovendien op mogelijk kwaadaardige instructies.
Auto Mode is daarmee een monitor die acties kan blokkeren. Een monitor is op zichzelf geen sandbox: het is geen omgeving die de agent volledig van andere systemen isoleert.
Welke aanvalstypen en verdedigingsrichtingen het paper noemt
Naast promptinjectie door de agent zelf noemt het paper aanvallen met meerdere agents en kwaadaardige compaction. Compaction vat eerdere interacties samen om een agent met minder context te laten doorgaan; een aanvaller kan proberen zo’n samenvatting te beïnvloeden.
Het abstract noemt betere dekking van toolacties, een aangepaste opmaak van transcripten en een extra agentische monitorstap als mogelijke verbeteringen. De auteurs beschrijven het voorkomen van aanvallen over meerdere contexten heen tegen aanvaardbare kosten als een onopgelost probleem.
De arXiv-data van het paper
arXiv registreerde de eerste versie op 17 september 2026 en de revisie van versie 2 op 27 september 2026.
