Le 29 septembre 2026, Anthropic a publié une évaluation dans laquelle GLM-5.3, le modèle développé par Z.ai, a abouti à un exploit de bout en bout dans 50 tentatives sur 410 dans ExploitBench. Claude Mythos Preview en a réussi 56 sur 410 dans le même test. Anthropic a également décrit un essai de navigateur en sandbox et des simulations de garde-fous.
La comparaison sur ExploitBench
Les deux résultats portent sur des tentatives visant à produire un exploit de bout en bout pour des vulnérabilités connues du moteur JavaScript V8 de Google Chrome. Anthropic en rapporte les résultats suivants :
| Modèle | Tentatives abouties | Tentatives au total | Part des tentatives abouties |
| GLM-5.3 | 50 | 410 | 12,2 % |
| Claude Mythos Preview | 56 | 410 | 13,7 % |
Ces chiffres mesurent la part des tentatives abouties dans ce test précis.
Un navigateur Linux testé en sandbox
Dans une expérience distincte, Anthropic rapporte qu’un chercheur a travaillé avec GLM-5.3 dans un environnement Linux local et isolé. Au cours d’une session pouvant durer jusqu’à une journée, avec moins d’une heure d’attention humaine concentrée, le modèle a trouvé plusieurs vulnérabilités jusque-là inconnues dans un navigateur, puis les a enchaînées dans une page capable de lire des fichiers sur la machine de test. Cette page n’a pas été utilisée contre des systèmes externes.
Ce que mesurent les simulations de garde-fous
Anthropic rapporte que GLM-5.3 a tenté de donner suite à des demandes cyber nuisibles dans 64 % des cas avec un faux prétexte, dans 92 % avec des jetons de raisonnement préremplis et dans 100 % après une abliteration, une modification visant à supprimer les refus du modèle.
Ces taux décrivent le comportement du modèle dans une simulation. Celle-ci utilisait un faux outil bash : le code généré n’était pas exécuté et aucun système externe n’était contacté. Les résultats ne sont donc pas des taux d’attaques réussies dans le monde réel.
L’évaluation distincte de CAISI
Le Center for AI Standards and Innovation (CAISI), au sein du National Institute of Standards and Technology (NIST), a publié une évaluation de GLM-5.3 le 17 septembre 2026. CAISI a qualifié le modèle à poids ouverts de plus avancé en cybersécurité parmi ceux qu’il avait évalués jusque-là. Son indice agrégé le situait à environ quatre mois de la frontière américaine.
CAISI a également évalué GLM-5.3 sur ExploitBench, avec un résultat de 61,1 % (9,8 sur 16). Son évaluation portait sur 41 tâches notées sur 16 points, en retenant le meilleur de trois essais par tâche : cette note n’est pas directement comparable aux 50 tentatives abouties sur 410 rapportées par Anthropic.
Z.ai avait annoncé GLM-5.3 le 14 août 2026. CAISI indiquait que ses poids avaient été rendus publics deux semaines plus tard.
