L’Improvement Dynamics Model (IDM) è un programma modificabile che prevede, attività per attività, gli esiti di una modifica proposta al programma di un agente IA. Nel metodo descritto nel preprint Predict Before You Modify: Learning Improvement Dynamics for Self-Evolving Agents, la previsione può portare a una sola revisione aggiuntiva; poi l’agente risultante viene comunque valutato. Il modello di base non viene riaddestrato: a cambiare sono il codice e le istruzioni dell’agente.
Che cosa prevede l’IDM
HyperAgents affida i compiti a un agente e usa un meta-agente per modificare il programma dell’agente operativo e il proprio. L’IDM riceve l’archivio dei tentativi, l’agente scelto come genitore, i risultati ottenuti da quell’agente e la modifica proposta al codice. Un modello linguistico congelato genera previsioni sugli esiti dei singoli compiti.
La distinzione è pratica: l’IDM non decide se una modifica abbia davvero funzionato. Stima che cosa potrebbe succedere e aiuta a indirizzare un eventuale ritocco prima della prova.
Una revisione aggiuntiva, poi la valutazione
Il punteggio previsto nel complesso determina se chiedere una revisione aggiuntiva, mentre le previsioni sui singoli compiti possono orientarla. Se il codice viene rivisto, l’IDM ne stima di nuovo gli esiti. La modifica risultante viene poi valutata anche quando l’ultima previsione è sfavorevole.
Negli esperimenti, un meta-agente poteva proporre una modifica all’IDM ogni cinque generazioni. Il modello candidato veniva verificato sui cinque risultati successivi mentre restava in uso l’IDM corrente. L’adozione richiedeva una riduzione della perdita predittiva sui compiti senza un aumento dell’errore quadratico medio centrato.
Quattro ambiti, metriche diverse
Gli esperimenti hanno riguardato programmazione Polyglot, revisione di articoli scientifici, progettazione di ricompense per robot in simulazione e valutazione di problemi matematici di livello olimpico. Ogni metodo è stato eseguito cinque volte, per 40 generazioni a esecuzione.
Nella programmazione, l’AUBC mediana — l’area sotto la curva del budget — su 40 generazioni è stata 0,306 per Selective IDM e 0,210 per HyperAgents. È una misura distinta dal tasso di risoluzione sui compiti tenuti da parte per la valutazione: su 166 attività, il guadagno mediano rispetto all’agente iniziale comune è stato di 13,25 punti percentuali per Selective IDM e di 5,42 punti per HyperAgents. Il tasso di risoluzione iniziale era del 16,27%.
Negli esperimenti combinati di revisione scientifica e robotica, Selective IDM ha registrato un’AUBC mediana superiore del 5,9% nella revisione scientifica e del 3,9% sull’obiettivo congiunto rispetto a HyperAgents. Per la valutazione matematica, un IDM evoluto nei compiti di revisione e robotica è stato trasferito a un nuovo ambito: l’AUBC mediana è risultata superiore del 3,4% rispetto a Selective IDM con budget di generazioni e del 2,3% a parità di token. Sui compiti matematici tenuti da parte, la precisione mediana ha superato quella di Selective IDM di 4 punti percentuali e quella di HyperAgents di 8.
Prestazioni e consumo di token
Nel confronto completo di programmazione, Selective IDM ha avuto un’AUBC mediana più alta, ma anche un uso medio di token maggiore. I valori riportati sono:
| Metodo | AUBC mediana di programmazione su 40 generazioni | Token medi di programmazione nell’esecuzione completa |
| Selective IDM | 0,306 | 170,22 milioni |
| HyperAgents | 0,210 | 49,45 milioni |
A parità di un budget di 44,21 milioni di token, l’AUBC mediana di Selective IDM è stata superiore del 10,9% rispetto a HyperAgents. Nei conteggi dei token rientravano l’evoluzione degli agenti, la valutazione dei compiti, le previsioni, gli aggiornamenti dell’IDM e la loro convalida: il totale, da solo, non misura il costo computazionale complessivo, il consumo energetico o la spesa monetaria.
