Per capire se una skill migliora un agente IA, confronta lo stesso compito con e senza la skill, usando lo stesso prompt e un ambiente di prova isolato. Ripeti le esecuzioni e valuta separatamente la correttezza, la selezione della skill, l’efficienza e la sicurezza: una risposta riuscita una volta non basta per decidere se conservarla.
Una skill è un insieme di istruzioni specializzate per un compito, spesso salvate in un file SKILL.md. Prima di iniziare, prepara un’attività concreta, il prompt da riutilizzare e criteri di valutazione che puoi applicare a entrambe le versioni. In un articolo pubblicato il 3 novembre 2026, Google Cloud descrive un metodo basato su controlli di instradamento, prove isolate e confronti ripetuti nel suo resoconto sulla valutazione delle skill.
Perché una sola esecuzione non basta
Un risultato invariato con e senza la skill può avere almeno due spiegazioni: l’agente potrebbe non averla selezionata, oppure il modello di base potrebbe già svolgere quel compito. Per distinguere i casi, controlla prima l’instradamento, cioè il meccanismo che decide quando caricare una skill.
Google Cloud riferisce che, nel proprio studio di retrieval, oltre un terzo dei task ha ottenuto punteggi diversi in esecuzioni consecutive con codice e prompt identici. È un risultato riportato dagli autori per quello studio. La variabilità rende utile ripetere le prove invece di basare la decisione su un singolo tentativo.
1. Controlla che l’agente selezioni la skill
Esamina il nome e la descrizione brevi nell’intestazione YAML, o frontmatter, del file: secondo Google Cloud, il router li controlla prima di caricare il contenuto completo. Descrizioni sovrapposte a quelle di skill simili possono contribuire a far selezionare quella sbagliata; una skill può anche non attivarsi quando serve.
Se il confronto non mostra differenze, verifica quindi se la skill è stata effettivamente richiamata prima di riscriverne le istruzioni. Google Cloud descrive anche skill-reach, uno strumento per controllare manifest, budget di token, sovrapposizioni lessicali e instradamento. I valori illustrati nell’articolo sono esempi, non soglie universali.
2. Isola l’ambiente di prova
Esegui i test in un ambiente pulito e separato, così credenziali, impostazioni locali o cronologia della shell non influenzano il comportamento dell’agente o la baseline. Google Cloud cita anche il carico della CPU tra i fattori che, nelle prove degli autori, potevano alterare i punteggi.
Mantieni identici l’ambiente e gli input nelle due condizioni. Nella prima esecuzione, il modello lavora senza la skill; nella seconda, riceve lo stesso prompt nello stesso sandbox, con la skill disponibile. Cambiare contemporaneamente prompt, dati e skill rende difficile capire a quale modifica attribuire la differenza.
3. Ripeti lo stesso task con e senza la skill
Confronta le due condizioni più volte, usando gli stessi casi e lo stesso prompt. Questo confronto controllato, chiamato ablation appaiata, mette a paragone una baseline senza skill e un’esecuzione con la skill montata. Google Cloud cita Pass@3 come esempio di valutazione ripetuta, non come un numero da applicare a ogni progetto.
4. Valuta i risultati e la sicurezza separatamente
Non lasciare che una risposta più rapida o un minor consumo di token compensino un errore o un problema di sicurezza. Il framework SkillEvaluator citato da Google Cloud distingue cinque dimensioni: correttezza, individuabilità, efficienza, efficacia e sicurezza. Per la tua prova, stabilisci in anticipo quali criteri contano per il compito e registrali separatamente.
Proteggi anche il sistema che assegna i punteggi. Google Cloud riferisce quattro modi in cui candidati generati da un ottimizzatore hanno aggirato il benchmark nei propri esperimenti, tra cui leggere un file con le risposte corrette invece di risolvere il task. Gli autori raccomandano di tenere fixture, script di valutazione e soluzioni in un ambiente di verifica separato, accessibile solo dopo la chiusura del container dell’agente.
5. Aggiungi un caso limite realistico
Una prova di routine può non rivelare se la skill gestisce bene dati in conflitto. Un commentatore su Reddit propone, come test e non come risultato misurato, di affiancare a una normale richiesta di assistenza una vecchia eccezione per il supporto nel fine settimana, riferita a un altro cliente. La verifica consiste nel controllare se l’agente recupera le condizioni attuali e chiede una decisione quando i record non concordano, invece di formulare una risposta plausibile basata sull’eccezione sbagliata.
Questo tipo di caso aiuta a distinguere una risposta fluida da una corretta gestione delle eccezioni. Per una skill di assistenza, annota quali condizioni deve trovare e quando deve fermarsi per chiedere chiarimenti.
Quando tenere la skill
Prima di decidere, controlla che sia stata selezionata, confronta le esecuzioni ripetute sulle stesse attività e considera separatamente correttezza, efficienza e sicurezza. Se non emerge una differenza, il controllo dell’instradamento aiuta a capire se l’agente non ha caricato la skill o se il modello di base gestisce già il compito. Gli esempi di Google Cloud favoriscono istruzioni operative concise, come controllare l’help del comando specifico prima di cambiare lo stato, invece di copiare nella skill lunghe tabelle di documentazione.
