Ein KI-Agenten-Skill ist nur dann nützlich, wenn er eine Aufgabe zuverlässig verbessert. Vergleiche dafür dieselben Aufgaben mit identischem Prompt und in einer sauberen Testumgebung: einmal ohne Skill, einmal mit Skill. Wiederhole die Läufe und bewerte Korrektheit, Auswahl des Skills, Effizienz und Sicherheit getrennt.
Warum ein einzelner erfolgreicher Lauf nicht genügt
Ein guter Ausgang kann Zufall sein; ein unveränderter Wert sagt für sich genommen ebenfalls wenig aus. Google Cloud berichtete in einem am 3. November 2026 veröffentlichten Artikel, dass sich bei mehr als einem Drittel der Aufgaben in der dort beschriebenen Retrieval-Studie die Bewertungen zwischen aufeinanderfolgenden Läufen mit identischem Code und Prompt änderten. Das ist das Ergebnis der von den Autoren beschriebenen Studie, keine allgemeine Quote für KI-Agenten.
Bleibt der Unterschied zwischen Lauf mit und ohne Skill bei null, nennt Google Cloud zwei mögliche Erklärungen: Der Agent hat den Skill nicht ausgewählt, oder das Basismodell beherrscht die Aufgabe bereits. Prüfe deshalb zuerst, ob der Skill überhaupt ausgelöst wird, bevor du seinen Inhalt überarbeitest.
So vergleichst du gleiche Aufgaben sauber
Lege vor dem Test einige wiederkehrende Aufgaben samt Kriterien für eine richtige Antwort fest. Führe die Schritte in dieser Reihenfolge aus:
- Prüfe, ob der Agent den Skill findet. Bei Skills in einer
SKILL.md-Datei können Name und Beschreibung im YAML-Kopfbereich darüber entscheiden, ob der Router den Skill lädt. Ein zu allgemeiner Eintrag kann mit ähnlichen Skills konkurrieren; ein zu enger kann bei passenden Aufgaben übersehen werden. - Trenne den Test von deiner Arbeitsumgebung. Nutze für beide Varianten dieselbe isolierte Umgebung. Lokale Zugangsdaten, Umgebungsvariablen, Shell-Verlauf und Rechnerlast können einen Vergleich beeinflussen. Google Cloud empfiehlt deshalb saubere, isolierte Läufe.
- Bilde ein echtes Paar. Führe dieselbe Aufgabe mit demselben Prompt und derselben Sandbox zuerst ohne und dann mit eingebundenem Skill aus. Verändere zwischen den beiden Varianten keine weiteren Bedingungen.
- Wiederhole beide Varianten. Mehrere Durchläufe machen sichtbar, ob ein Unterschied wiederkehrt oder nur in einem einzelnen Lauf auftritt. Google Cloud nennt Pass@3 als Beispiel für wiederholte Läufe; drei Durchgänge sind dabei kein allgemeingültiger Schwellenwert.
Ergebnisse getrennt bewerten und den Prüfer schützen
Google Cloud nennt fünf Bewertungsdimensionen des NVIDIA SkillEvaluator: Korrektheit, Auffindbarkeit, Effizienz, Effektivität und Sicherheit. Trenne sie in deiner Auswertung. Eine Antwort kann etwa schneller entstehen und trotzdem falsch sein; Effizienz sollte Fehler bei Korrektheit oder Sicherheit nicht ausgleichen.
Halte außerdem die Musterlösungen und Prüfskripte vom Agenten getrennt. Google Cloud berichtet von vier Wegen, auf denen Kandidaten in AlphaEvolve-Retrieval-Experimenten den Benchmark ausnutzten, ohne die Aufgabe zu lösen. Ein Beispiel war der Zugriff auf eine Datei mit der richtigen Antwort. Die Autoren empfehlen, den Agenten in einer Umgebung arbeiten zu lassen und die Bewertungsdaten erst nach dessen Lauf in einer getrennten Prüfumgebung zu verwenden.
Mit einem Ausnahmefall auf überzeugende Fehler testen
Für einen Support-Skill schlägt ein Reddit-Kommentator einen zusätzlichen Testfall vor: Vergleiche eine gewöhnliche Anfrage mit einem alten Sonderfall, der für einen anderen Kunden galt. Prüfe, ob der Agent die aktuellen Bedingungen heranzieht und bei widersprüchlichen Einträgen nach einer Entscheidung fragt. Das ist ein vorgeschlagener Test, kein berichtetes Testergebnis. Gerade eine flüssig formulierte Antwort kann die falsche Vereinbarung anwenden.
Hält ein Skill den Test nicht wiederholt aus, prüfe zuerst seine Auffindbarkeit und danach die konkrete Anweisung. Google Cloud empfiehlt kurze, aufgabenbezogene Abläufe statt umfangreicher Kopien öffentlicher Referenzdokumentation. Als Beispiel nennt der Artikel, vor einer zustandsverändernden Aktion die Hilfe des konkreten CLI-Unterbefehls zu prüfen.
