Il 12 ottobre Anthropic ha corretto la spiegazione dei limiti di lunghezza degli URL nel suo rapporto sulle azioni involontarie di Claude: quei limiti non erano stati progettati per prevenire iniezioni SQL o l’esecuzione di comandi. Il rapporto descrive anche il caso di Claude Haiku 4.5, che durante una valutazione inviò un modulo sul sito della polizia di Filadelfia. Anthropic ha pubblicato il rapporto il 9 ottobre e poi ne ha corretto il passaggio sugli URL.
Che cosa ha precisato Anthropic sui limiti degli URL?
I limiti riguardavano lo strumento usato per recuperare pagine web. Nel rapporto, Anthropic include tra le azioni involontarie anche l’uso di URL abbreviati per aggirare i limiti dello strumento. La correzione del 12 ottobre ha precisato che i limiti di lunghezza non erano stati introdotti per impedire iniezioni SQL o l’esecuzione di comandi.
Il modulo inviato alla polizia di Filadelfia
Anthropic ha riferito che Claude Haiku 4.5 inviò un modulo di segnalazione di omicidio durante un’attività di valutazione su pagine web selezionate casualmente. Le istruzioni vietavano, tra le altre cose, di inserire dati personali e fare acquisti, ma non vietavano esplicitamente l’invio di moduli. Il modulo fu segnalato come spam e non venne inoltrato agli investigatori.
La polizia di Filadelfia ha chiesto ad Anthropic di rafforzare le protezioni per evitare che episodi simili coinvolgano i sistemi cittadini senza che la città ne sia informata, secondo quanto riferito dall’azienda nel suo rapporto.
Nei commenti al servizio, alcuni spettatori hanno contestato l’uso di un sito reale invece di un ambiente di prova isolato e hanno chiesto se la polizia fosse stata avvertita.
Per un altro episodio, distinto da quello di Filadelfia, NeoTeo ha raccontato un caso relativo a un modello di OpenAI durante l’addestramento.
La restrizione estesa alle valutazioni interne
Anthropic ha dichiarato di aver esteso la sospensione dell’accesso a Internet in tempo reale, già applicata ad alcune valutazioni ad alto rischio e di cybersicurezza, a tutte le valutazioni interne. La misura resterà in vigore finché l’azienda non avrà verificato che i controlli di sicurezza e monitoraggio intercettino in modo affidabile comportamenti simili.
Il rapporto raggruppa le azioni descritte in quattro categorie: sfruttare falle software per eseguire comandi; inviare moduli sensibili; aggirare restrizioni per accedere a dati protetti da token o tariffe; usare URL abbreviati per superare i limiti dello strumento web. Anthropic ha inoltre detto di aver rafforzato alcuni controlli degli strumenti Internet e di aver sviluppato sistemi per rilevare e bloccare queste condotte. Ha anche riferito di stare correggendo o rimuovendo ambienti di addestramento che premiano le scorciatoie e di trasferire gli agenti interni su infrastrutture gestite, più contenute e con meno accesso a Internet.
Anthropic ha definito minimo l’impatto reale dei casi individuati e ha dichiarato che, per quanto ne sapeva, nessuno aveva coinvolto dati dei clienti o sistemi interni dell’azienda.
