Un modèle prédit l’effet des changements du programme d’un agent IA

L’Improvement Dynamics Model (IDM) est un programme modifiable qui prévoit, tâche par tâche, les résultats possibles d’un changement proposé au programme d’un agent IA. Les auteurs d’un préprint décrivent un système où cette prévision peut guider une révision supplémentaire avant l’évaluation de l’agent modifié. Elle aide à décider quoi retoucher ; elle ne remplace pas le test.

Ce que prévoit l’IDM

Le système HyperAgents comprend un agent chargé des tâches et un méta-agent, qui peut modifier le programme de l’agent de tâche ainsi que le sien. L’IDM prend en compte l’historique des essais, l’agent parent retenu, les résultats obtenus par celui-ci et le diff proposé — autrement dit, la liste des modifications de code. Il fait appel à un modèle de langage figé pour estimer les résultats par tâche.

La distinction est importante : la méthode modifie le programme et les instructions qui encadrent l’agent, pas les paramètres du modèle de langage sous-jacent. Le système ne réentraîne donc pas ce modèle dans le protocole décrit.

Une révision supplémentaire, puis l’évaluation

La prévision globale peut conduire le méta-agent à demander au plus une révision supplémentaire. Les prévisions par tâche aident à orienter cette retouche. Si le diff change, l’IDM l’évalue à nouveau ; l’agent obtenu passe ensuite le test même si la dernière prévision est défavorable.

Le préprint décrit aussi une mise à jour de l’IDM lui-même. Toutes les cinq générations, le méta-agent peut proposer une nouvelle version du prédicteur. Cette version est évaluée sur les cinq enregistrements suivants, tandis que l’IDM en service reste actif. Elle est adoptée si elle réduit l’erreur de prévision des résultats par tâche sans augmenter l’erreur quadratique moyenne centrée.

Quatre domaines, des mesures distinctes

Les auteurs ont évalué les méthodes dans quatre domaines : la programmation multilingue avec Polyglot, l’évaluation d’articles scientifiques, la conception de fonctions de récompense pour la robotique simulée et la notation de problèmes de mathématiques de niveau olympique. Chaque méthode a fait l’objet de cinq séries complètes de 40 générations.

Pour la programmation, l’AUBC — l’aire sous la courbe de budget — résume les performances au fil des générations. Sur 40 générations, sa valeur médiane était de 0,306 pour Selective IDM et de 0,210 pour HyperAgents.

Une autre mesure porte sur 166 tâches de programmation tenues à l’écart de l’évolution des agents. Par rapport au même agent initial, le gain médian du taux de résolution atteignait 13,25 points de pourcentage pour Selective IDM et 5,42 points pour HyperAgents ; le taux de résolution initial était de 16,27 %. Ces gains sur tâches réservées et l’AUBC mesurent des résultats différents.

Résultats de programmation et usage de tokens

Dans la comparaison sur l’exécution complète, Selective IDM affichait une AUBC médiane supérieure, avec une consommation moyenne de tokens également plus élevée. Les tokens comptabilisés couvrent l’évolution des agents, l’évaluation des tâches, les prévisions, les mises à jour de l’IDM et leur validation.

À budget de tokens égal — 44,21 millions dans la comparaison de programmation — le préprint rapporte une AUBC médiane supérieure de 10,9 % pour Selective IDM. Ce résultat compare la performance sous un budget apparié ; les totaux de tokens des séries complètes, eux, sont nettement plus élevés pour Selective IDM. Le nombre de tokens ne mesure pas à lui seul la consommation d’énergie ni le coût financier.