Dans une simulation à trois agents, une réponse fausse donnée par un agent exécutant a été reprise par un agent agrégateur dans 751 des 757 cas où le premier avait été trompé. Dans un autre volet de la simulation, les agrégateurs n’ont commis aucune erreur sur 780 essais lorsqu’ils disposaient de la source récupérée. L’étude de Keegan Wang et Anantika Mannby porte sur des documents fictifs, pas sur la fréquence de ces erreurs chez les utilisateurs. Les auteurs détaillent leurs expériences et leurs résultats dans leur étude.
Dans une chaîne d’agents, transmettre la réponse ne suffit pas : la source permet à l’agent suivant de la contrôler.
Comment les chercheurs ont-ils défini une réponse falsifiée ?
L’étude appelle « révision nuisible » le cas où un modèle, après avoir d’abord répondu correctement, adopte ensuite la mauvaise réponse soutenue par un document falsifié. Les chercheurs ont conçu 180 tâches à choix binaire fondées sur des récits inventés. Les documents authentiques restaient accessibles à côté des faux.
Certains faux documents portaient des indices de falsification : une correction était datée d’avant le document qu’elle prétendait modifier, ou ne comportait pas le numéro d’enregistrement présent dans les documents authentiques. Le test portait donc sur la manière dont les agents traitaient des preuves contradictoires dans un environnement contrôlé.
Pourquoi les résultats changent-ils selon l’attaque ?
Les résultats des agents de programmation dépendaient du type de falsification et du mode de délégation. Dans Claude Code, Opus 5 a enregistré une révision nuisible sur 180 essais en lisant les documents directement, contre 75 sur 180 lorsqu’il déléguait cette lecture à Haiku 4.5, dans une condition combinant plusieurs types de faux. Pour cette délégation, l’accès direct d’Opus 5 aux fichiers était bloqué : il ne pouvait utiliser que l’outil Task.
Dans une autre condition, fondée sur un faux document présenté comme faisant autorité, GPT-5.6-sol, dans Codex, a enregistré zéro révision nuisible sur 180 essais en lecture directe et 44 sur 180 en s’appuyant sur GPT-5.6-terra. La restriction à la délégation était ici donnée comme consigne et vérifiée à chaque essai, plutôt qu’imposée techniquement.
La lecture directe ne prévenait pas toutes les erreurs : dans une condition distincte de Codex, avec un avis de correction falsifié, GPT-5.6-sol a fait une révision nuisible dans 172 essais sur 180 en lisant directement les fichiers. Ces configurations diffèrent par les attaques et leurs contrôles ; leurs chiffres ne constituent pas un classement des produits.
Comment l’erreur a-t-elle circulé entre plusieurs agents ?
Dans la simulation à trois agents, un agent exécutant recevait des éléments falsifiés avant de transmettre sa réponse à un agent agrégateur. Cinq agrégateurs ont repris l’erreur dans 751 des 757 cas où l’agent exécutant avait été trompé. Quand l’agrégateur recevait la source récupérée, le résultat était de zéro erreur sur 780 essais.
Ce test de propagation est distinct d’un autre essai consacré à la vérification. Dans cet essai, le groupe de référence comptait 15 révisions nuisibles sur 40. Le résultat était de trois sur 40 quand un vérificateur devait citer la source originale, et d’une sur 40 quand il recevait pour consigne d’être sceptique. Les auteurs n’ont pas trouvé de différence statistiquement significative entre ces deux stratégies de vérification dans cet essai.
Jusqu’où ces résultats s’appliquent-ils ?
Les expériences reposaient sur des faits fictifs en environnement isolé et ne mesurent pas la fréquence des erreurs dans les services utilisés par des clients. Les auteurs avancent que la délégation pourrait réduire les vérifications, mais présentent cette explication comme une hypothèse : le nombre d’interactions avec les outils était corrélé aux résultats, sans établir à lui seul un lien de cause à effet.
La variabilité entre répétitions invite aussi à considérer les chiffres dans leur contexte : sur 3 652 paires de mesures répétées, les résultats pour un même fait différaient dans 13,0 % des cas.