Un modelo predice el efecto de cambios en agentes de IA

El Improvement Dynamics Model (IDM) es un programa editable que predice, tarea por tarea, qué resultado podría tener un cambio propuesto en el código de un agente de IA. El preprint Predict Before You Modify: Learning Improvement Dynamics for Self-Evolving Agents describe cómo esa predicción puede orientar una revisión adicional antes de evaluar el agente resultante.

Qué predice el IDM

El IDM estima el resultado de una modificación a partir del historial de pruebas, el agente que sirve de base, sus resultados observados y el cambio de código propuesto (el diff, o diferencia entre versiones). Para hacer la predicción, el programa invoca un modelo de lenguaje que permanece congelado: lo que puede modificarse es el programa del agente, no se vuelve a entrenar por este método el modelo de lenguaje subyacente.

El sistema parte de HyperAgents, donde un agente ejecuta las tareas y un metaagente modifica el programa del agente de tareas y también el suyo propio. El IDM añade una previsión de resultados por tarea para orientar el siguiente cambio.

La predicción puede pedir una revisión, pero no sustituye la evaluación

Si la previsión agregada aconseja revisar una propuesta, el sistema puede pedir como máximo una revisión adicional antes de evaluarla. Después vuelve a predecir el efecto del cambio revisado y evalúa el agente resultante aunque el pronóstico siga siendo desfavorable. La predicción orienta una decisión; no funciona como una barrera que garantice el éxito o descarte todos los cambios que puedan fallar.

El propio IDM también puede evolucionar. En los experimentos, el metaagente podía proponer cambios al predictor cada cinco generaciones. Cada candidato se contrastaba con los cinco registros siguientes mientras el predictor vigente seguía en uso. Para adoptarlo, debía reducir la pérdida de predicción por tarea sin elevar el error cuadrático medio centrado.

Qué midieron los experimentos

El preprint evaluó cuatro ámbitos: programación multilingüe con Polyglot, revisión de artículos, diseño de recompensas para robótica simulada y calificación de problemas matemáticos de nivel olímpico. Cada método completó cinco ejecuciones de 40 generaciones, con agentes iniciales, modelos de lenguaje, divisiones de tareas y protocolos compartidos.

En programación, la AUBC —el área bajo la curva de presupuesto, una medida del rendimiento a lo largo de las generaciones— tuvo una mediana de 0,306 con Selective IDM y 0,210 con HyperAgents. En otra evaluación, con 166 tareas de programación reservadas para la prueba, la ganancia mediana en la tasa de resolución frente al agente inicial común fue de 13,25 puntos porcentuales con Selective IDM y de 5,42 puntos con HyperAgents. La tasa de resolución inicial era del 16,27%. Son medidas distintas: la AUBC resume el rendimiento durante la evolución; la tasa de resolución cuenta tareas resueltas.

Los resultados también variaron entre ámbitos. En la evolución conjunta para revisión de artículos y robótica, Selective IDM obtuvo una AUBC mediana un 5,9% mayor en revisión de artículos y un 3,9% mayor en el objetivo conjunto, con los dos ámbitos ponderados por igual. Un IDM desarrollado con tareas de revisión de artículos y robótica y luego trasladado a la calificación matemática registró una AUBC mediana un 3,4% superior a Selective IDM con presupuesto de generaciones y un 2,3% superior con presupuesto de tokens igualado. En tareas matemáticas reservadas para la prueba, su precisión mediana fue 4 puntos porcentuales mayor que la de Selective IDM y 8 puntos mayor que la de HyperAgents.

El IDM final también redujo entre un 8,7% y un 24,4% la pérdida de predicción por tarea frente al predictor inicial en los cuatro ámbitos. Esa mejora describe la capacidad de pronóstico medida en el estudio, no una garantía de que cada modificación del agente vaya a funcionar.

Rendimiento y consumo de tokens en programación

En las ejecuciones completas de programación, Selective IDM registró una AUBC mediana mayor y también un uso medio de tokens superior al de HyperAgents. La tabla reúne esas dos medidas del mismo experimento; los tokens contabilizados incluyen la evolución de los agentes, la evaluación de tareas, las predicciones, las actualizaciones del IDM y su validación.

Con un presupuesto de programación igualado de 44,21 millones de tokens, el preprint informó de una AUBC mediana un 10,9% mayor para Selective IDM que para HyperAgents. Ese resultado compara el rendimiento con el mismo presupuesto de tokens; las cifras de las ejecuciones completas muestran que Selective IDM empleó más tokens en ese otro planteamiento. El recuento de tokens no mide por sí solo el coste total de computación, la energía ni el coste económico.

Los autores señalan que las pruebas se realizaron con tareas de referencia, incluida robótica simulada, y que sus resultados no bastan para justificar sustituir el juicio humano ni desplegar el sistema sin salvaguardas.