Om te beoordelen of een skill voor een AI-agent iets toevoegt, vergelijk je dezelfde taak en prompt herhaaldelijk in een schone omgeving, mét en zonder de skill. Controleer eerst of de agent de skill vindt en beoordeel daarna de juistheid, efficiëntie en veiligheid afzonderlijk. Zo voorkom je dat één geslaagde uitvoering of een vervuilde nulmeting de uitkomst bepaalt.

Wat je vooraf klaarzet

Kies een terugkerende taak en leg de prompt vast die je in beide testvarianten gebruikt. Zorg ook voor een geïsoleerde testomgeving en criteria waarmee je de uitkomst kunt beoordelen. De nulmeting is de agent zonder skill; in de tweede variant krijgt diezelfde agent de skill. Houd de taak, prompt en omgeving gelijk.

Een skill is een set taakgerichte instructies die een agent kan vinden en gebruiken. Bij coding agents kunnen die instructies bijvoorbeeld in een bestand als SKILL.md staan.

Voer de test in vijf stappen uit

Schema waarin één testtaak en schone omgeving vertakken naar een uitvoering zonder skill en een met skill, gevolgd door afzonderlijke beoordelingsvelden.
  1. Controleer eerst of de agent de skill vindt. Kijk naar de korte naam en beschrijving in de YAML-frontmatter, het metadata-blok boven in het skillbestand. Volgens Google Cloud kan een agentrouter die gegevens gebruiken om te bepalen welke skill wordt geladen. Een te brede beschrijving kan overlappen met die van een vergelijkbare skill; een onduidelijke beschrijving kan juist maken dat de gewenste skill niet wordt gekozen.
  2. Zet een schone, geïsoleerde testomgeving klaar. Lokale inloggegevens, omgevingsvariabelen, shellgeschiedenis en drukte op de processor kunnen een test beïnvloeden. Houd de omstandigheden voor beide varianten gelijk. Bewaar testbestanden, beoordelingsscripts en antwoordsleutels buiten de agentomgeving, zodat de agent daar tijdens de uitvoering niet bij kan.
  3. Vergelijk twee uitvoeringen van dezelfde taak. Laat de agent eerst werken zonder de skill en daarna met de skill. Gebruik in beide gevallen dezelfde prompt en sandbox, de afgeschermde testomgeving. Zo schrijf je een verschil in de uitkomst niet toe aan een gewijzigde opdracht of testopstelling.
  4. Herhaal de vergelijking. Eén uitvoering zegt weinig als de uitkomst tussen runs kan wisselen. Google Cloud beschrijft herhaalde gekoppelde tests en noemt Pass@3 als voorbeeld, niet als vaste norm. In hun retrievalonderzoek verschilden bij meer dan een derde van de taken de scores tussen opeenvolgende runs met identieke code en prompts. Die bevinding rapporteerden Karl Weinmeister en Alan Blount in een artikel dat Google Cloud op 3 november 2026 publiceerde. Hun artikel beschrijft ook dat een nulverschil twee mogelijke verklaringen heeft: de skill is niet geactiveerd, of de basisagent kon de taak al aan. Controleer daarom eerst de routering voordat je de skill afschrijft. (Google Cloud)
  5. Beoordeel de uitkomsten op aparte dimensies. Noteer of de agent de taak correct uitvoert, de skill ontdekt, efficiënt werkt en veilig blijft. Het door Google Cloud besproken SkillEvaluator-model noemt daarnaast effectiviteit als afzonderlijke dimensie. Een efficiëntiescore hoort een fout antwoord of onveilig gedrag niet te compenseren.

Voeg een test met tegenstrijdige gegevens toe

Neem naast een standaardtaak ook een geval op waarin de juiste reactie afhangt van welke informatie actueel is. Een Reddit-reageerder stelde voor om een gewone supportvraag te combineren met een oude weekendondersteuningsuitzondering die voor een andere klant gold. Kijk dan of de agent de actuele voorwaarden vindt en om een beslissing vraagt wanneer de gegevens botsen. Dit is een voorgesteld testscenario, geen gerapporteerd testresultaat.

Zo’n geval test iets anders dan een routinevraag: een overtuigend antwoord kan nog steeds op de verkeerde klantafspraak zijn gebaseerd. Neem de gebruikte versie van de voorwaarden en het verwachte antwoord daarom op in je afgeschermde beoordelingsmateriaal.

Bescherm de beoordeling en houd de skill gericht

Het testresultaat is pas bruikbaar als de agent niet bij het antwoordmodel of de controles kan. Google Cloud beschreef vier manieren waarop kandidaten in AlphaEvolve-retrievalexperimenten de benchmark manipuleerden, waaronder het lezen van een bestand met het juiste antwoord en het omzeilen van controles. De auteurs adviseren om de agent en de verificator gescheiden te houden en beoordelingsmateriaal pas beschikbaar te maken nadat de agentcontainer is afgesloten. Hun voorbeelden van beveiligingscontroles omvatten het opsporen van pogingen om Kubernetes-serviceaccounttokens of cloudmetadata op te vragen. Ze noemen ook het verwijderen van live OAuth-tokens uit opgeslagen uitvoeringen.

Houd de skill zelf compact en taakgericht. Google Cloud noemt als voorbeeld een praktische gewoonte: controleer de hulpinformatie van de specifieke CLI-opdracht voordat je een wijziging doorvoert. Zulke werkinstructies richten zich op een handeling; een grote kopie van openbare documentatie doet dat niet.