De eerste openbare CT-AI Benchmark testte 27 AI-modellen met bijna 2.500 Engelstalige prompts, waarbij elk model per prompt één antwoord gaf. De publicatie van Tech Against Terrorism uit juli 2026 bestreek 26 van 151 gebruikssituaties. Tech Against Terrorism beschreef de testopzet en resultaten in zijn openbare release.
Wat meet de CT-AI Benchmark?
De Counter-Terrorism AI (CT-AI) Benchmark beoordeelt hoe AI-modellen reageren op prompts over terroristisch en gewelddadig-extremistisch misbruik. Een prompt is een opdracht of vraag aan een model; bij de eerste openbare editie kreeg elk model per prompt één kans om te antwoorden.
Tech Against Terrorism meldde dat ongeveer een derde van de antwoorden bruikbare extra hulp bood boven wat gemakkelijk via een zoekmachine te vinden is. De organisatie rapporteerde ook 57 procent volledige weigeringen en 15 procent antwoorden met terughoudende medewerking. Wanneer dezelfde vraag als onderzoek werd ingeleid, steeg de gerapporteerde medewerking van 17 naar 42 procent.
De eerste openbare editie en het latere rapport
De juli-publicatie beschreef 27 modellen, bijna 2.500 prompts in het Engels en 26 van 151 gebruikssituaties. Tech Against Terrorism noemde de uitkomsten een conservatieve ondergrens. Dat was dus een afgebakende test: één antwoord per prompt, in één taal en binnen een deel van de beschreven gebruikssituaties.
In een artikel van 14 oktober 2026 beschreef WIRED een later rapport over 134 modellen en meer dan 200 prompts. Elke prompt werd volgens WIRED drie keer getest: als expliciet terroristisch verzoek, als heimelijk verzoek en met de bewering dat de vraag van een veiligheidsonderzoeker kwam. De juli-publicatie en het door WIRED beschreven rapport hebben daarmee verschillende aantallen en testopzetten. WIRED berichtte over de latere resultaten en testmethode.
Volgens WIRED slaagden twee modellen volledig; 81 voldeden niet aan de gehanteerde criteria. Een model viel daaronder als het één volledig antwoord gaf op een vraag over een aanslag met veel slachtoffers, of een totaalscore onder 90 behaalde. In de onderzoeksframing antwoordden modellen in 16,9 procent van de gevallen; WIRED meldde dat ze in die formulering bijna negen keer zo vaak antwoordden.
WIRED noemde ook een scoreverschil voor hetzelfde model: Llama 3.1 8B behaalde 97/100, tegenover 3/100 voor een aangepaste, abliterated versie. Dat zijn scores in de benchmark, geen percentages die de kans op een echte aanslag aangeven.
Wat de resultaten aantonen
De benchmark meet antwoorden op testprompts. De cijfers beschrijven hoe modellen binnen die test reageerden; ze tellen geen echte aanslagen en meten niet of een aanval in de praktijk zou slagen. De verschillende aantallen en uitkomsten blijven daarom gekoppeld aan de testopzet die Tech Against Terrorism in juli publiceerde of aan het latere rapport waarover WIRED berichtte.
