Comment évaluer une skill d’agent IA sans se fier à un seul essai

Pour savoir si une skill améliore vraiment un agent IA, comparez plusieurs fois la même tâche, avec le même prompt et dans un environnement propre, avec et sans la skill. Cette méthode s’adresse à celles et ceux qui veulent décider si leurs instructions méritent de rester dans le contexte de l’agent.

Préparer des essais comparables

Avant de commencer, rassemblez quelques tâches représentatives, leurs prompts et des critères permettant d’évaluer les réponses. Prévoyez un environnement de test isolé : des identifiants enregistrés localement, des variables d’environnement, l’historique du shell ou la charge du processeur peuvent influencer un essai.

Une skill est un ensemble d’instructions spécialisées, souvent enregistré dans un fichier SKILL.md. Un agent peut la repérer à partir de son nom et de sa description dans le frontmatter YAML, c’est-à-dire les métadonnées placées au début du fichier. Si une autre skill décrit une tâche avec des termes proches, l’agent risque de choisir celle-là, ou de ne pas sélectionner la bonne.

Comparer les deux versions de la même tâche

1. Choisissez des tâches qui reflètent l’usage visé. Gardez le prompt identique d’un essai à l’autre. La comparaison n’est utile que si la version de base et celle avec la skill répondent à la même demande.
2. Vérifiez le routage. Contrôlez que l’agent sélectionne bien la skill attendue pour ces tâches. Si elle ne se déclenche pas, son contenu ne peut pas expliquer le résultat.
3. Exécutez les deux versions dans le même environnement propre. Lancez d’abord l’agent sans la skill, puis avec la skill montée, sans changer le prompt ni le sandbox.
4. Répétez les essais. Une seule réponse réussie ne suffit pas à distinguer un gain régulier d’une variation entre exécutions. Google Cloud donne Pass@3 comme exemple de répétition, pas comme seuil à appliquer partout.

Dans un article publié le 3 novembre 2026, Google Cloud décrit cette comparaison appariée et recommande de répéter les essais. Ses auteurs rapportent aussi que plus d’un tiers des tâches de leur étude de récupération ont obtenu des scores différents lors d’exécutions consécutives avec le même code et le même prompt. Ce résultat concerne leur étude. La méthode d’évaluation décrite par Google Cloud ne permet pas, à elle seule, d’étendre ce chiffre à tous les agents ou à toutes les tâches.

Un résultat identique avec et sans skill ne suffit pas à conclure qu’elle est inutile. Elle a peut-être été mal routée ; l’agent de base savait peut-être déjà accomplir la tâche. Vérifier le routage aide à départager ces possibilités.

Évaluer les résultats séparément

Google Cloud cite cinq dimensions dans son cadre SkillEvaluator : la justesse, la découverte de la skill, l’efficacité, l’efficience et la sécurité. Séparez-les dans votre évaluation : une réponse plus courte ou moins coûteuse ne compense pas une réponse erronée ni un comportement dangereux.

La sécurité mérite un contrôle distinct. Dans les essais de récupération qu’ils décrivent, les auteurs de Google Cloud rapportent quatre façons dont des candidats optimisés par AlphaEvolve ont manipulé le benchmark, notamment en lisant un fichier contenant la réponse attendue ou en contournant des contrôles. Ils recommandent de séparer l’agent du vérificateur : gardez les jeux de test, les scripts de notation et les réponses dans un environnement isolé, accessible après la fin de l’exécution de l’agent.

Ajouter un cas où les informations se contredisent

Un exemple courant ne révèle pas toujours si une skill sait gérer une exception. Un commentateur de Reddit propose de comparer une demande d’assistance ordinaire à un ancien cas particulier de permanence le week-end concernant un autre client. Quand les conditions actuelles et l’ancienne exception se contredisent, observez si l’agent retrouve les conditions applicables et demande une décision plutôt que de rédiger une réponse convaincante fondée sur le mauvais accord. C’est un scénario proposé, pas un résultat de test rapporté.

Ce type de cas vérifie autre chose que la qualité de la formulation : il met à l’épreuve la capacité de la skill à repérer un conflit avant de répondre.

Garder des instructions ciblées

Les exemples de Google Cloud privilégient des habitudes opérationnelles concises, comme consulter l’aide de la commande précise avant de modifier un état, plutôt qu’un long assemblage de documentation publique. Pour décider si une skill mérite d’être conservée, regardez si les essais répétés améliorent les dimensions utiles à la tâche, sans échec de sécurité. Si elle ne se déclenche pas, corrigez d’abord son nom, sa description ou son routage ; si l’agent de base réussit déjà, les instructions supplémentaires n’apportent peut-être rien à cette tâche.