Een Improvement Dynamics Model (IDM) voorspelt wat een voorgestelde wijziging aan het programma van een AI-agent per taak kan opleveren. Die voorspelling kan leiden tot hoogstens één extra revisie; daarna wordt de aangepaste agent geëvalueerd, ook als de laatste voorspelling ongunstig is. Dat beschrijven de auteurs in hun preprint over zelfverbeterende agenten.
Wat de IDM voorspelt
In HyperAgents werkt een meta-agent aan het programma van een taakagent en kan die ook zijn eigen programma aanpassen. Het gaat om code en instructies die bepalen hoe de taakagent redeneert, hulpmiddelen gebruikt, geheugen inzet en met zijn omgeving omgaat. De methode traint het onderliggende taalmodel niet opnieuw.
De bewerkbare IDM gebruikt een bevroren taalmodel om uitkomsten per taak te voorspellen. Als invoer krijgt de voorspeller onder meer het archief met eerdere resultaten, de gekozen ouderagent en de voorgestelde codewijziging, oftewel de diff. De voorspelling kan helpen bepalen of een extra aanpassing zinvol lijkt en welke taken daarbij aandacht vragen.
Eén extra revisie, daarna evaluatie
De revisie is begrensd: het systeem kan hoogstens één extra versie aanvragen. Daarna voorspelt de IDM opnieuw wat de gewijzigde code naar verwachting doet. Vervolgens wordt de resulterende agent getest, ook wanneer die laatste voorspelling tegenvalt. De voorspeller stuurt dus een revisie aan; hij vervangt de evaluatie niet en garandeert geen geslaagde wijziging.
Ook de IDM zelf kan worden aangepast. In de beschreven experimenten stelde de meta-agent elke vijf generaties een kandidaat-update voor. Die werd beoordeeld aan de hand van de vijf daaropvolgende resultaten, terwijl de bestaande voorspeller actief bleef. Een kandidaat werd alleen overgenomen als de taakvoorspellingsfout daalde zonder dat de gecentreerde gemiddelde kwadratische fout toenam.
Wat de benchmarks meten
De auteurs testten de aanpak in vier domeinen: Polyglot-codering, beoordeling van wetenschappelijke artikelen, beloningsontwerp voor gesimuleerde robotica en beoordeling van wiskundeopgaven op olympiadeniveau. Elke methode doorliep vijf runs van 40 generaties.
Voor codering rapporteert het preprint twee verschillende soorten resultaten. De mediane AUBC — de oppervlakte onder de budgetcurve, een maat voor prestaties over opeenvolgende generaties — was 0,306 voor Selective IDM en 0,210 voor HyperAgents. Op 166 afzonderlijke coderingstaken lag de mediane winst in oplospercentage ten opzichte van dezelfde beginagent op 13,25 procentpunt voor Selective IDM en 5,42 procentpunt voor HyperAgents. De beginagent loste 16,27% van die taken op.
Ook buiten codering rapporteerden de auteurs hogere mediane AUBC-waarden voor Selective IDM: 5,9% bij de beoordeling van artikelen en 3,9% voor het gelijk gewogen gezamenlijke doel voor artikelbeoordeling en robotica. Voor wiskundebeoordeling droegen ze een IDM over die was ontwikkeld met artikelbeoordeling en robotica. De mediane AUBC lag daar 3,4% boven die van Selective IDM bij een generatiebudget en 2,3% bij een gelijk tokenbudget. Op achtergehouden wiskundetaken lag de mediane nauwkeurigheid 4 procentpunt boven Selective IDM en 8 procentpunt boven HyperAgents.
Prestaties en tokengebruik
Bij de volledige coderingsruns verbruikte Selective IDM gemiddeld meer tokens dan HyperAgents. De AUBC- en tokenmetingen staan naast elkaar, maar meten verschillende zaken:
| Methode | Mediane coderings-AUBC over 40 generaties | Gemiddeld aantal tokens in de volledige coderingsruns |
| Selective IDM | 0,306 | 170,22 miljoen |
| HyperAgents | 0,210 | 49,45 miljoen |
Bij een gelijk coderingsbudget van 44,21 miljoen tokens rapporteerden de auteurs voor Selective IDM een 10,9% hogere mediane AUBC dan voor HyperAgents. Dat resultaat zegt iets over prestaties bij hetzelfde tokenbudget. De grotere gemiddelde tokeninzet in de volledige runs maakt tegelijk duidelijk dat de hogere AUBC daar niet gepaard ging met minder tokens. Tokenaantallen vormen op zichzelf geen volledige vergelijking van rekenkosten, energieverbruik of geldkosten.
De robotica-experimenten draaiden in simulatie. De auteurs schrijven dat de benchmarkresultaten geen geschiktheid aantonen om menselijk oordeel te vervangen of de methode zonder waarborgen en toezicht in te zetten.
