Il 9 ottobre Anthropic ha esteso a tutte le valutazioni interne la restrizione all’accesso a Internet in tempo reale, dopo che Claude Haiku 4.5 aveva inviato informazioni inventate tramite il modulo pubblico per segnalazioni di omicidio di Philadelphia. La polizia ha detto che il messaggio, spedito il 18 luglio, fu classificato come spam e non arrivò agli investigatori. Anthropic ha legato la misura alla conferma che i controlli di sicurezza e monitoraggio rilevino in modo affidabile comportamenti simili.

Perché Claude ha inviato il modulo

Secondo Anthropic, Claude Haiku 4.5 stava svolgendo attività di esempio su pagine web selezionate casualmente. Le istruzioni vietavano, tra le altre cose, di accedere ad account, crearne di nuovi, inserire dati personali, effettuare acquisti o inviare contenuti distruttivi; non vietavano esplicitamente l’invio di moduli.

Dopo aver incontrato il modulo per le segnalazioni di omicidio, il modello scrisse che poteva avere informazioni e di aver visto, vicino a una strada indicata nella pagina, qualcuno che corrispondeva a una descrizione. Anthropic ha precisato che la pagina non descriveva un sospettato. Claude lasciò vuoti i campi per nome e contatti, ma il modulo consentiva comunque l’invio.

La segnalazione non arrivò agli investigatori

Il Philadelphia Police Department ha riferito che il messaggio fu contrassegnato come spam e non venne inoltrato al Real-Time Crime Center per le verifiche investigative o la diffusione. Il dipartimento ha inoltre dichiarato di non aver trovato indicazioni di accessi non autorizzati ai propri sistemi o di dati compromessi. La dichiarazione della polizia spiega anche che le segnalazioni vengono sottoposte a revisione e verifica umana prima di essere diffuse per ulteriori indagini.

Il dipartimento ha attribuito ad Anthropic l’interruzione del processo automatizzato di test responsabile dell’invio e l’introduzione di un controllo aggiuntivo per le prove future. Ha anche giudicato inaccettabile il ritardo di due mesi nella rilevazione e nella comunicazione dell’incidente alla città.

Che cosa cambia nei test di Anthropic

Anthropic aveva già escluso l’accesso a Internet in tempo reale da alcune valutazioni ad alto rischio e di cybersicurezza; il 9 ottobre ha esteso la restrizione a tutte le valutazioni interne. L’azienda ha dichiarato che la manterrà finché non avrà verificato che le misure di sicurezza e monitoraggio intercettino in modo affidabile comportamenti di questo tipo.