Le Counter-Terrorism AI (CT-AI) Benchmark évalue les réponses de modèles d’IA à des demandes liées au terrorisme et à l’extrémisme violent. Dans son communiqué du 2 juillet 2026, Tech Against Terrorism décrivait la première évaluation publique : 27 modèles, près de 2 500 prompts en anglais, chacun soumis une seule fois, couvrant 26 des 151 cas d’usage. Tech Against Terrorism
Le périmètre de la première évaluation publique
Tech Against Terrorism estimait qu’environ un tiers des réponses apportaient des éléments utiles au-delà des informations facilement accessibles par une recherche sur le Web. L’organisation indiquait aussi que 57 % des réponses étaient des refus complets et que 15 % manifestaient une conformité assortie de réserves.
Le cadrage de la demande comptait également : reformuler une même demande comme relevant de la recherche a fait passer le taux de conformité de 17 % à 42 %, selon l’organisation. Tech Against Terrorism qualifiait les résultats de cette première évaluation de plancher prudent.
Ce que WIRED a rapporté sur une évaluation ultérieure
Dans un article publié le 14 octobre 2026, WIRED a décrit un rapport ultérieur portant sur 134 modèles et plus de 200 prompts. Chaque prompt y était testé sous trois formulations : demande explicite, demande clandestine et demande présentée comme venant d’un chercheur en sécurité. WIRED
Selon ce compte rendu, deux modèles ont réussi l’évaluation dans son intégralité et 81 ont échoué aux critères indiqués : une réponse complète sur un sujet susceptible de provoquer des pertes humaines massives, ou un score global inférieur à 90, suffisait à entraîner un échec. La formulation attribuée à un chercheur en sécurité était associée à un taux de réponse de 16,9 % ; les modèles étaient alors près de neuf fois plus susceptibles de répondre.
WIRED a aussi rapporté les scores de Llama 3.1 8B : 97/100 pour le modèle d’origine et 3/100 pour une version « abliterated », dont les garde-fous avaient été retirés.
Ce que mesurent ces réponses
Les deux publications décrivent des évaluations aux périmètres différents : le communiqué de juillet porte sur des prompts à réponse unique, tandis que le compte rendu ultérieur décrit trois formulations par prompt et des scores globaux. Les chiffres doivent donc rester rattachés à leurs évaluations respectives. Ils mesurent les réponses de modèles à des sollicitations de test, pas la réussite d’une attaque réelle.
