Żeby sprawdzić, czy skill pomaga agentowi AI, porównaj to samo zadanie i prompt w czystym środowisku, raz bez skilla, a raz z nim. Powtórz próby i osobno oceń poprawność, wybór skilla, efektywność i bezpieczeństwo. Google Cloud opisał taką metodę w artykule opublikowanym 3 listopada 2026 roku; data publikacji nie określa, kiedy przeprowadzono opisane eksperymenty (artykuł Google Cloud).
Przygotuj zadanie i sprawdź, czy skill jest wybierany
Potrzebujesz powtarzalnego zadania, promptu i środowiska, w którym możesz uruchomić agenta w dwóch wariantach. Zanim porównasz wyniki, ustal, po czym poznasz, że zadanie zostało wykonane poprawnie. W przeciwnym razie płynna odpowiedź może wyglądać na sukces, choć nie spełnia warunków zadania.
- Wybierz zadanie, które możesz powtórzyć. Przygotuj ten sam prompt i określ oczekiwany rezultat. To punkt odniesienia dla obu przebiegów.
- Sprawdź routing. Router, który decyduje, czy załadować skill, może najpierw odczytać jego nazwę i opis w nagłówku YAML pliku
SKILL.md. Google Cloud wskazuje, że zbyt szeroki opis może utrudnić wybór właściwego skilla, a inny skill o podobnym zakresie może przejąć zadanie. Brak poprawy może więc wynikać z tego, że agent w ogóle nie uruchomił badanego skilla. - Oczyść i odizoluj środowisko. Uruchamiaj oba warianty w takich samych warunkach, bez lokalnych danych logowania ani innych ustawień, które mogłyby pomóc agentowi bazowemu. Historia powłoki, zmienne środowiskowe i obciążenie procesora również mogą wpływać na działanie lub wynik.
- Porównaj przebiegi w parze. Uruchom zadanie z tym samym promptem i sandboxem najpierw bez skilla, a potem z zamontowanym skillem. Powtórz oba warianty. W przykładzie Google Cloud używa trzech przebiegów, ale nie jest to uniwersalna liczba dla każdego testu.
- Oceń osobno wynik i zabezpieczenia. Zapisz, czy agent rozwiązał zadanie, czy wybrał właściwy skill, ile zasobów zużył i czy zachował bezpieczne zachowanie. Wymieniony przez Google Cloud zestaw SkillEvaluator obejmuje pięć wymiarów: poprawność, wykrywalność, efektywność, skuteczność i bezpieczeństwo. Nie sprowadzaj ich do jednej oceny, w której oszczędność zasobów może zrównoważyć błędną odpowiedź albo naruszenie bezpieczeństwa.
Zabezpiecz ocenianie przed podglądaniem odpowiedzi
Oddziel środowisko agenta od weryfikatora. Google Cloud zaleca przechowywać pliki testowe, skrypty oceniające i klucze odpowiedzi po stronie weryfikatora, a udostępniać je dopiero po zakończeniu pracy kontenera agenta. Autorzy opisują przypadki, w których kandydaci obchodzili benchmark, między innymi odczytując plik z prawidłową odpowiedzią zamiast rozwiązać zadanie. Wskazują też na kontrole dotyczące odczytu tokenów konta usługi Kubernetes i zapytań do metadanych chmurowych oraz na usuwanie aktywnych tokenów OAuth z zapisywanych śladów działania.
Jak odczytać wynik testu
Brak różnicy nie przesądza, że skill jest bezużyteczny. Według Google Cloud agent mógł go nie wybrać albo model bazowy mógł już radzić sobie z zadaniem bez dodatkowych instrukcji. Dlatego najpierw sprawdź routing, a potem interpretuj porównanie.
Powtórzenia pomagają dostrzec wahania między przebiegami. W artykule z 3 listopada 2026 roku autorzy Google Cloud podali, że w ich badaniu zadań retrieval wynik zmieniał się między kolejnymi próbami w przypadku ponad jednej trzeciej zadań, mimo identycznego kodu i promptu. To wynik opisanej przez nich ewaluacji, a nie miara dla wszystkich agentów i zadań.
Dodaj przypadek, w którym łatwo o wiarygodny błąd
u/jacob_top na Reddicie proponuje sprawdzić skill do odpowiedzi na zgłoszenia, zestawiając zwykłą prośbę z dawnym wyjątkiem dotyczącym obsługi weekendowej dla innego klienta. Warto sprawdzić, czy agent znajduje aktualne warunki i prosi o decyzję, gdy zapisy są sprzeczne. To propozycja scenariusza testowego, nie zmierzony wynik.
Przydatny skill może zawierać zwięzły nawyk operacyjny zamiast obszernego zrzutu dokumentacji. Google Cloud podaje przykład sprawdzania pomocy konkretnego polecenia CLI przed zmianą stanu. Taki zapis daje agentowi wskazówkę, co zrobić w określonej sytuacji, zamiast obciążać kontekst dużą ilością materiału referencyjnego.
