Como o IDM prevê mudanças em agentes de IA antes da avaliação

O Improvement Dynamics Model (IDM) prevê resultados por tarefa antes de uma mudança no programa de um agente de IA ser avaliada. A previsão pode levar a uma revisão extra — no máximo uma —, mas o agente resultante passa por avaliação mesmo quando a estimativa final é desfavorável. O método, descrito no preprint Predict Before You Modify: Learning Improvement Dynamics for Self-Evolving Agents, altera o programa do agente, não retreina seu modelo de linguagem de base.

O que o IDM prevê

No sistema HyperAgents, um agente de tarefa tenta resolver problemas, enquanto um meta-agente pode modificar o agente de tarefa e o próprio programa. O IDM é um programa editável que usa um modelo de linguagem congelado para estimar resultados por tarefa a partir do histórico de agentes e resultados, do agente escolhido como base e da diferença de código proposta.

A previsão separa resultados que podem exigir correções diferentes. Em programação, por exemplo, o estudo distingue uma tentativa sem solução de um patch incompleto ou vazio. A estimativa agregada ajuda a decidir se vale pedir uma revisão; as previsões por tarefa orientam o que mudar.

A revisão não substitui a avaliação

O IDM pode solicitar até uma revisão adicional. Depois, prevê novamente o código alterado e o agente resultante é avaliado, mesmo que a previsão continue desfavorável. Assim, o sistema usa o prognóstico para orientar uma mudança, não para garantir que ela funcione.

O preprint também descreve como o próprio preditor pode evoluir. A cada cinco gerações, o meta-agente pode propor uma versão candidata do IDM. Ela é avaliada nos cinco registros seguintes enquanto a versão atual continua em uso. A candidata só é adotada se reduzir o erro das previsões por tarefa sem aumentar o erro quadrático médio centrado.

O que os testes mediram

Os experimentos cobriram quatro domínios: programação multilíngue Polyglot, avaliação de artigos científicos, projeto de funções de recompensa para robôs em simulação e correção de matemática em nível de olimpíada. Cada método teve cinco execuções completas de 40 gerações.

Na programação, a área sob a curva ao longo do orçamento (AUBC) resume o desempenho acumulado durante as gerações. Em 166 tarefas reservadas para avaliação, a taxa inicial de resolução foi de 16,27%. O ganho mediano sobre esse agente inicial foi de 13,25 pontos percentuais para Selective IDM e 5,42 pontos para HyperAgents. Esses ganhos na taxa de resolução são uma medida distinta da AUBC.

Desempenho e uso de tokens

Na comparação de programação com orçamento de gerações, Selective IDM teve AUBC mediana maior que HyperAgents. Nas execuções completas, também consumiu mais tokens em média:

Com um orçamento igual de 44,21 milhões de tokens, o preprint relata AUBC mediana de programação 10,9% maior para Selective IDM. A comparação mostra desempenho superior nessa métrica sob o mesmo orçamento de tokens; nas execuções completas, o total médio de tokens de Selective IDM foi mais de três vezes o de HyperAgents.

Os resultados também variaram entre os outros domínios. Na evolução conjunta de avaliação de artigos e robótica simulada, Selective IDM teve AUBC mediana 5,9% maior na avaliação de artigos e 3,9% maior no objetivo conjunto, com pesos iguais para os dois domínios. Em matemática, um IDM desenvolvido com tarefas de avaliação de artigos e robótica foi transferido para a correção: sua AUBC mediana superou a de Selective IDM em 3,4% no orçamento por gerações e em 2,3% no orçamento pareado por tokens. Nas tarefas matemáticas reservadas, sua acurácia mediana ficou 4 pontos percentuais acima de Selective IDM e 8 pontos acima de HyperAgents.

Os autores afirmam que resultados em benchmarks não demonstram que o método seja adequado para substituir o julgamento humano ou para implantação sem salvaguardas.