Wie ein IDM Folgen von Änderungen an KI-Agenten vorhersagt

Ein Improvement Dynamics Model (IDM) schätzt, wie sich eine vorgeschlagene Änderung am Programm eines KI-Agenten auf einzelne Aufgaben auswirken könnte. Die Prognose kann höchstens eine zusätzliche Überarbeitung anstoßen; danach wird der überarbeitete Agent auch dann bewertet, wenn die Vorhersage ungünstig ausfällt. So beschreibt es die Vorabveröffentlichung Predict Before You Modify: Learning Improvement Dynamics for Self-Evolving Agents.

Was das IDM vorhersagt

Das IDM ist ein bearbeitbares Programm, das ein eingefrorenes Sprachmodell aufruft. Es berücksichtigt ein Archiv früherer Versuche, den ausgewählten Vorgänger-Agenten, dessen beobachtete Ergebnisse und den vorgeschlagenen Code-Unterschied. Daraus leitet es aufgabenbezogene Wahrscheinlichkeiten für Ergebnisse und, wenn passend, Schätzwerte für kontinuierliche Leistungen ab.

Bei HyperAgents arbeitet ein Task-Agent an den eigentlichen Aufgaben. Ein Meta-Agent kann dessen Programm und auch sein eigenes verändern. Im Mittelpunkt stehen dabei Programmcode und Anweisungen, die etwa Schlussfolgerungen, Werkzeugnutzung, Speicher und Interaktionen steuern. Das Verfahren verändert diese Agentenprogramme; es trainiert nicht das zugrunde liegende Sprachmodell neu.

Die Vorhersage unterscheidet zudem verschiedene Ergebnisse. Beim Programmieren zählen dazu etwa ein gelöster oder ungelöster Fall, eine unvollständige Lösung und ein leerer Patch. Solche Unterschiede können darauf hinweisen, dass Änderungen an unterschiedlichen Stellen nötig sind.

Eine Überarbeitung, dann folgt die Bewertung

Der Gesamtwert der Prognose entscheidet, ob das System eine zusätzliche Überarbeitung anfordert. Die Vorhersagen für einzelne Aufgaben sollen dabei helfen, die Änderung gezielt anzupassen. Anschließend wird auch der überarbeitete Code erneut prognostiziert. Selbst wenn diese letzte Vorhersage schlecht ausfällt, bewertet das System den daraus entstandenen Agenten trotzdem.

Auch das IDM selbst kann angepasst werden. In den Experimenten schlug der Meta-Agent alle fünf Generationen eine mögliche Änderung am Prognosemodell vor. Diese wurde anhand der folgenden fünf Datensätze geprüft, während das bestehende IDM weiterlief. Übernommen wurde ein Kandidat nur, wenn sein Fehler bei den Aufgabenprognosen sank und zugleich der zentrierte mittlere quadratische Fehler nicht stieg.

Was die Benchmarks messen

Die Studie untersuchte vier Bereiche: mehrsprachiges Programmieren mit Polyglot, Begutachtung von Fachartikeln, die Entwicklung von Belohnungsfunktionen für simulierte Robotik und mathematische Bewertung auf Olympiadeniveau. Bei jeder Methode gab es fünf vollständige Durchläufe mit jeweils 40 Generationen; Ausgangsagenten, Sprachmodelle, Aufgabenaufteilungen, Prüfverfahren und Auswahl der Vorgänger waren aufeinander abgestimmt.

Beim Programmieren galt eine Aufgabe als gelöst, wenn ein Code-Patch die zugehörige Testsuite bestand. Auf 166 zurückgehaltenen Aufgaben stieg die mediane Lösungsrate gegenüber dem gemeinsamen Ausgangsagenten bei Selective IDM um 13,25 Prozentpunkte; bei HyperAgents waren es 5,42 Prozentpunkte. Der Ausgangsagent löste 16,27 Prozent der Aufgaben.

Für die Entwicklung über 40 Generationen berichtet die Studie außerdem die mediane AUBC, also die Fläche unter der Leistungskurve entlang des Budgets. Die Kennzahl beschreibt damit einen anderen Aspekt als die Lösungsrate auf den zurückgehaltenen Aufgaben:

Auch in den anderen Bereichen meldet die Vorabveröffentlichung Vorteile für Selective IDM: Bei der gemeinsamen Entwicklung für Fachartikel-Begutachtung und Robotik lag die mediane AUBC für die Begutachtung um 5,9 Prozent höher, für das gleich gewichtete gemeinsame Ziel um 3,9 Prozent. Ein zuvor in Begutachtung und Robotik entwickeltes IDM wurde außerdem auf mathematische Bewertung übertragen. Seine mediane AUBC lag dort um 3,4 Prozent über Selective IDM im Generationenbudget und um 2,3 Prozent im Vergleich mit gleichem Tokenbudget. Bei zurückgehaltenen Mathematikaufgaben lag die mediane Genauigkeit vier Prozentpunkte über Selective IDM und acht Prozentpunkte über HyperAgents.

Leistung und Tokenverbrauch

Im vollständigen Programmierversuch verbrauchte Selective IDM im Mittel 170,22 Millionen Tokens, HyperAgents 49,45 Millionen. Tokens sind dabei die gezählte Nutzungseinheit für Texteingaben und -ausgaben der Modelle. Die Bilanz umfasste Agentenentwicklung, Aufgabenbewertung, Prognosen, IDM-Anpassungen und Validierung; sie ist kein vollständiger Vergleich von Rechenaufwand, Energie- oder Geldkosten.

Bei gleichem Tokenbudget berichtet die Studie für Selective IDM eine um 10,9 Prozent höhere mediane AUBC beim Programmieren. Das dafür angegebene Budget betrug 44,21 Millionen Tokens. Der Vergleich zeigt somit einen Leistungsunterschied unter festgelegtem Tokenbudget; die vollständigen Durchläufe weisen zugleich deutlich unterschiedliche Tokenmengen auf.