Il Counter-Terrorism AI (CT-AI) Benchmark valuta come i modelli di IA rispondono a richieste che rappresentano possibili usi terroristici ed estremisti violenti. La prima edizione resa pubblica, descritta da Tech Against Terrorism nel comunicato del 2 luglio 2026, ha esaminato 27 modelli con quasi 2.500 prompt in inglese, a risposta singola, su 26 dei 151 casi d’uso individuati. Un successivo rapporto su 134 modelli è stato descritto da WIRED il 14 ottobre 2026, con un metodo diverso.
Che cosa misura il CT-AI Benchmark
Un benchmark di sicurezza sottopone i modelli a richieste di prova e valuta le risposte che producono. Nel caso del CT-AI, i prompt rappresentano scenari di uso terroristico o estremista violento. «A risposta singola» significa che ogni prompt viene valutato sulla base di una sola risposta del modello.
Il formato serve a osservare come cambiano le risposte al variare della richiesta. Tech Against Terrorism ha presentato i risultati della prima valutazione pubblica come una soglia minima prudenziale: il test copriva soltanto una parte dei casi d’uso e si svolgeva in inglese. Il comunicato dell’organizzazione riporta che circa un terzo delle risposte offriva un aiuto utilizzabile in più rispetto a quello facilmente reperibile con una ricerca sul web.
I risultati della prima edizione pubblica
Nel comunicato di luglio, Tech Against Terrorism ha classificato il 57% delle risposte come rifiuti completi e il 15% come adesioni con riserve. La stessa pubblicazione riferisce che, presentando una richiesta identica come una domanda di ricerca, il tasso di adesione è passato dal 17% al 42%.
Questi valori si riferiscono ai quasi 2.500 prompt a risposta singola della prima valutazione: non descrivono il rapporto successivo sui 134 modelli. Il perimetro era limitato a 26 casi d’uso su 151 e alla lingua inglese.
Il rapporto successivo descritto da WIRED
In un articolo pubblicato il 14 ottobre 2026, WIRED ha riferito i risultati di un rapporto di Tech Against Terrorism su 134 modelli e oltre 200 prompt. Ogni prompt era stato provato con tre formulazioni: una richiesta terroristica esplicita, una clandestina e una presentata come proveniente da un ricercatore di sicurezza.
Secondo WIRED, due modelli hanno superato integralmente la valutazione e 81 non hanno rispettato i criteri indicati. Il rapporto considerava un esito negativo sia una risposta completa su un tema di strage di massa, sia un punteggio complessivo inferiore a 90. WIRED ha inoltre riferito che, con la formulazione da ricercatore, i modelli rispondevano nel 16,9% dei casi e risultavano quasi nove volte più propensi a rispondere.
Un esempio riguarda Llama 3.1 8B: nel benchmark, il modello ha ottenuto 97 punti su 100; una versione abliterata dello stesso modello ne ha ottenuti 3. Si tratta di punteggi della valutazione, non di percentuali di riuscita di un attacco. WIRED ha riportato questi risultati.
Che cosa dicono — e che cosa misurano — questi risultati
Il CT-AI misura le risposte generate dai modelli in condizioni di test. I dati descrivono quindi il comportamento osservato davanti a specifici prompt; da soli, non documentano l’uso di un modello in un attacco reale né la riuscita di un attacco. I numeri della prima edizione e quelli del rapporto successivo appartengono a valutazioni descritte con campioni e impostazioni diversi.
