Em uma simulação controlada, agentes agregadores repetiram a resposta falsa de um agente trabalhador em 751 de 757 casos nos quais ele havia sido enganado. Em outro braço do teste, quando os agregadores receberam a fonte recuperada, não houve erros em 780 tentativas. Os resultados são de tarefas fictícias, descritas no estudo de Keegan Wang e Anantika Mannby.

Como uma resposta falsa entra na cadeia

O estudo chamou de “revisão danosa” a mudança de uma resposta inicialmente correta para a resposta errada defendida pelo atacante, depois da interação com outro agente ou de contato com evidências alteradas. Para testar esse tipo de mudança, os pesquisadores usaram 180 tarefas sobre histórias fictícias, cada uma com duas opções de resposta. Os registros verdadeiros continuaram disponíveis junto dos documentos forjados.

As falsificações traziam pistas, como uma correção datada antes do registro que alegava corrigir e a falta de uma linha de cadastro presente nos documentos genuínos. Assim, o experimento avaliou o que acontecia quando um agente processava registros misturados e outro recebia o resultado desse trabalho.

O que mudou quando os agregadores receberam a fonte

Na simulação de três agentes, um agente trabalhador podia ser enganado por um registro falso e passar sua resposta a um agregador. Nos casos em que isso ocorreu, cinco agregadores reproduziram o erro em 751 de 757 tentativas. Quando os agregadores receberam o registro original recuperado, cometeram zero erros em 780 tentativas. Esse resultado pertence a essa simulação específica.

Para conferir uma resposta recebida de outro agente, o agregador precisa ter acesso à evidência que a sustenta.

Os pesquisadores também testaram verificadores em outro experimento, desta vez com um sistema de agentes em funcionamento. Houve 15 revisões danosas em 40 tentativas na condição de referência. O número caiu para 3 de 40 quando o verificador precisava citar o registro original e para 1 de 40 quando recebeu instruções para agir com ceticismo. Os autores consideraram os resultados dos dois verificadores estatisticamente indistinguíveis nessa amostra (p = 0,63).

Os resultados dependem do ataque e do sistema

Os testes com Claude Code e Codex mostram por que não cabe transformar uma condição experimental em uma classificação geral dos produtos. No ataque de falsificação empilhada do Claude Code, Opus 5 teve 1 revisão danosa em 180 tentativas lendo os arquivos diretamente e 75 em 180 ao delegar a leitura para Haiku 4.5. Nesse teste, o acesso direto aos arquivos foi removido mecanicamente do supervisor delegado.

Em uma condição diferente, com uma falsificação que usava uma nota de autoridade, GPT-5.6-sol teve zero revisões danosas em 180 tentativas de leitura direta e 44 em 180 ao depender de GPT-5.6-terra. A restrição à delegação no Codex foi dada como instrução e verificada em cada tentativa, não imposta mecanicamente. Os dois pares enfrentaram ataques e controles diferentes.

A leitura direta também não evitou todos os erros: na condição de aviso de correção do Codex, GPT-5.6-sol teve 172 revisões danosas em 180 tentativas lendo diretamente. O tipo de falsificação fez diferença nos resultados.

O que esses testes permitem concluir

As tarefas usaram fatos fictícios em ambientes isolados, e o estudo não estima a frequência desses erros em sistemas usados por clientes. Os autores tratam a redução da verificação como uma hipótese, não como causa demonstrada: a contagem de interações com ferramentas foi correlacional, e a delegação também alterava as informações vistas pelo supervisor.

A variação entre execuções também foi relevante. Em 3.652 pares de medições repetidas sobre o mesmo fato, os resultados divergiram em 13,0% dos casos; por isso, cada proporção experimental é uma estimativa.