En una simulación de tres agentes con tareas ficticias, una respuesta falsa de un trabajador engañado llegó al agente agregador en 751 de 757 casos. En otra condición, cuando los agregadores recibieron la fuente recuperada, no cometieron errores en 780 pruebas. Son resultados del estudio de Keegan Wang y Anantika Mannby, publicado en arXiv.
Al delegar una respuesta, conserva también la fuente original para que el siguiente agente pueda comprobarla.
¿Qué contó el estudio como un error?
Los autores llamaron «revisión dañina» al cambio de una respuesta correcta inicial a la respuesta equivocada respaldada por un atacante. Para medirlo, usaron pasajes ficticios, preguntas con dos opciones y registros falsos junto a los auténticos.
En los documentos falsificados había pistas: una supuesta corrección estaba fechada antes del registro que decía rectificar y le faltaba una línea de identificación presente en los registros auténticos. Así, la prueba medía si los agentes acababan adoptando la versión falsa pese a disponer de señales para detectarla.
¿Cómo pasó la respuesta falsa de un agente a otro?
En la simulación de tres agentes, un atacante introducía evidencia falsa, un trabajador la leía y un agregador recibía su respuesta. Cuando el trabajador caía en el engaño, el agregador repitió el error en 751 de 757 casos. Se probaron cinco agregadores. En otra condición de esa simulación, dar al agregador la fuente recuperada se asoció con cero errores en 780 pruebas.
La diferencia importa: el segundo agente podía recibir la conclusión del trabajador o disponer también del documento original. En esta prueba, el resultado sin errores apareció en el grupo que recibió la fuente; no es una garantía para otros sistemas o tareas.
¿Leer los documentos directamente evitó todos los errores?
No en todas las pruebas del estudio. En Claude Code, durante una condición de falsificación apilada, Opus 5 cometió una revisión dañina en 180 ensayos de lectura directa y 75 de 180 al delegar la lectura a Haiku 4.5. En esa condición, el acceso directo del supervisor a los archivos se había limitado mecánicamente.
Codex se probó con ataques y controles de delegación diferentes. En una condición de falsificación mediante una nota de autoridad, GPT-5.6-sol registró cero revisiones dañinas en 180 ensayos de lectura directa y 44 de 180 al apoyarse en GPT-5.6-terra; la delegación se indicó y se comprobó en cada ensayo, pero no se bloqueó técnicamente. Con otro tipo de ataque, una nota de corrección, GPT-5.6-sol registró 172 revisiones dañinas de 180 al leer directamente.
Como las condiciones y los ataques no eran iguales, estos recuentos no forman una clasificación entre Claude Code y Codex. Muestran que leer los archivos directamente no evitó todos los fallos probados y que los resultados cambiaban según el tipo de falsificación y el entorno.
¿Qué otras comprobaciones se probaron y qué límites tienen?
En otra prueba del estudio, un grupo de control registró 15 revisiones dañinas en 40 ensayos. La cifra fue de 3 de 40 cuando un verificador debía citar el documento original y de 1 de 40 cuando recibió instrucciones de ser escéptico. Los autores consideraron que los dos resultados con verificadores no eran estadísticamente distinguibles en esa prueba.
El estudio no calcula con qué frecuencia ocurren estos fallos en el uso de clientes: sus tareas empleaban información ficticia en entornos controlados. Además, en 3.652 pares de mediciones repetidas, las dos mediciones del mismo dato discreparon en el 13,0 % de los casos. Wang y Mannby plantean que la delegación podría reducir las comprobaciones, pero describen esa explicación como una hipótesis: el número de interacciones con herramientas solo mostró una correlación con los errores.