Ein kontrollierter Versuch zeigt, wie eine falsche Antwort durch eine Kette von KI-Agenten wandern kann: In einer Simulation übernahmen fünf Aggregatoren die falsche Antwort eines getäuschten Agenten in 751 von 757 Fällen. Erhielten sie stattdessen die ursprüngliche Quelle, traten in 780 Tests keine Aggregatorfehler auf. Die Studie von Keegan Wang und Anantika Mannby untersuchte erfundene Fakten in einer abgeschirmten Umgebung, nicht die Häufigkeit solcher Fehler im Kundeneinsatz (Studie auf arXiv).
Was in den Tests als Fehler zählte
Eine schädliche Antwortänderung lag vor, wenn ein Modell zunächst richtig antwortete und nach dem Kontakt mit einem anderen Agenten oder verfälschten Belegen die von einem Angreifer gestützte falsche Antwort gab.
Die Forschenden testeten 180 Aufgaben mit erfundenen Geschichten und je zwei Antwortmöglichkeiten. Echte Dokumente blieben neben den Fälschungen verfügbar. Zu den Hinweisen auf eine Fälschung gehörten ein vermeintlicher Korrekturvermerk, der älter war als der Eintrag, den er korrigieren sollte, und eine fehlende Registrierungszeile.
Wenn ein Agent die Antwort weitergibt, sollte der nächste Agent auch die ursprüngliche Quelle prüfen können.
Warum die Ergebnisse je nach Test variierten
Bei Claude Code änderte Opus 5 seine zunächst richtige Antwort im Test mit gestapelten Fälschungen in 1 von 180 Fällen, wenn es die Dateien selbst las. Überließ es das Lesen Haiku 4.5, waren es 75 von 180 Fällen. Im delegierten Durchlauf war Opus 5 technisch auf das Task-Werkzeug beschränkt und konnte nicht direkt auf die Dateien zugreifen.
Ein anderer Testaufbau mit Codex verwendete gefälschte Dokumente mit einem Autoritätsvermerk. GPT-5.6-sol änderte seine Antwort beim direkten Lesen in 0 von 180 Fällen, beim Rückgriff auf GPT-5.6-terra in 44 von 180 Fällen. Die Delegation war dabei angewiesen und pro Durchlauf kontrolliert, aber nicht technisch erzwungen. In einem weiteren Codex-Test mit gefälschten Korrekturhinweisen gab GPT-5.6-sol auch beim direkten Lesen in 172 von 180 Fällen eine schädliche Antwortänderung aus.
Die Angriffsarten und die Art, wie die Delegation durchgesetzt wurde, unterschieden sich zwischen diesen Tests. Ihre Zahlen beschreiben deshalb einzelne Versuchsbedingungen, nicht eine gemeinsame Rangliste der Systeme.
Wie ein Fehler zum nächsten Agenten gelangte
In einer separaten Simulation mit Angreifer, Arbeitsagent und Aggregator übernahmen fünf getestete Aggregatoren die falsche Antwort eines Arbeitsagenten in 751 von 757 Fällen, in denen dieser getäuscht worden war. In einem eigenen Versuchsarm erhielten die Aggregatoren die abgerufene Originalquelle; dort gab es 0 Fehler in 780 Tests.
Auch ein weiterer Test untersuchte Prüfmechanismen: Bei 40 Durchläufen je Versuchsarm sank die Zahl der schädlichen Antwortänderungen von 15 im Ausgangstest auf 3, wenn ein Prüfer ein Quellenzitat verlangen musste, und auf 1, wenn er zur Skepsis angewiesen war. Die Forschenden stuften die Ergebnisse der beiden Prüfvarianten in diesem Test als statistisch nicht unterscheidbar ein.
Was die Ergebnisse über die Tests hinaus aussagen
Wang und Mannby verwendeten erfundene Fakten in abgeschirmten Tests; ihre Studie gibt keine Fehlerhäufigkeit für den Einsatz bei Kunden an. Außerdem wichen bei 3.652 Wiederholungspaaren die beiden Messungen derselben Tatsache in 13,0 Prozent der Fälle voneinander ab.
Die Autoren bezeichnen verringerte Überprüfung als Hypothese: Die Zahl der Werkzeugschritte korrelierte mit den Fehlern, belegt aber keinen ursächlichen Zusammenhang.