30 października 2026 r. Microsoft Research opisał platformę, która tworzy syntetyczne środowiska firmowe i branżowe zapytania do ewaluacji Microsoft Copilot. Podane przez Microsoft 39% dotyczy poprawy złożonego wskaźnika jakości danych syntetycznych względem początkowego podejścia firmy, a nie dokładności odpowiedzi Copilota (Microsoft Research).
Co robi platforma Microsoftu
Industry Evaluation Data Generation Platform ma przygotowywać powtarzalne warunki do oceny systemów AI. Microsoft opisuje ją jako połączenie syntetycznych środowisk firmowych, automatycznego generowania zapytań oraz ustrukturyzowanych kryteriów jakości.
Środowiska obejmują symulowanych użytkowników, spotkania, e-maile, dokumenty, strukturę organizacji i zmieniające się w czasie historie pracy. Według Microsoftu do procesu nie trafiają dane klientów: wszystkie elementy środowisk są generowane syntetycznie. Firma opisała zastosowania dla farmacji, rynków kapitałowych oraz branży IT i oprogramowania. Przykładowe scenariusze obejmują rozmowy o badaniach klinicznych, przeglądy portfeli inwestycyjnych oraz planowanie sprintów.
Jak powstają środowiska i zapytania testowe?
Microsoft wymienia trzy publiczne źródła wykorzystywane do osadzenia symulowanych ról i zadań w kontekście: dane O*NET o zawodach, internetowe ogłoszenia o pracę i dokumenty składane do amerykańskiej Komisji Papierów Wartościowych i Giełd (SEC). Na ich podstawie platforma buduje kontekst stanowisk, struktur organizacyjnych i pracy w danej branży.
Proces generowania zapytań zaczyna się od szablonów typowych zadań zawodowych. System dopasowuje je do branży i syntetycznych danych, tworzy zapytania oparte na tym kontekście, nadaje im naturalne brzmienie, a następnie sprawdza ich poprawność i unikalność. To pozwala przygotować pytania do różnych scenariuszy bez wprowadzania rzeczywistych danych klientów.
Co oznaczają wyniki Microsoftu
Wynik 39% dotyczy złożonego wskaźnika jakości danych syntetycznych w porównaniu z początkowym sposobem ich generowania przez Microsoft. Firma podaje też, że niektóre środowiska branżowe uzyskały ponad 0,9 na 1,0 w jej ocenie jakości. Kryteria obejmują zgodność struktury, trafność kontekstu, realizm zachowań i bezpieczeństwo treści.
Microsoft opisuje również zmianę procesu tworzenia zbiorów z wielodniowej pracy ręcznej na automatyczne uruchomienia. Szacuje oszczędności na około 100 000 dolarów na zbiór ewaluacyjny i 300 000 dolarów łącznie dla projektu. Są to firmowe wyniki i szacunki dotyczące danych oraz procesu ich tworzenia, nie pomiar jakości odpowiedzi Copilota u klientów.
Osobne testy odpowiedzi agentów Employee Self-Service
Microsoft Learn opisuje odrębną metodę oceny agentów Employee Self-Service w Copilot Studio: powtarzalne testy scenariuszowe z różnymi profilami użytkowników. Można w nich sprawdzać, czy odpowiedzi uwzględniają polityki HR oraz kontekst użytkownika, taki jak rola i region. Powtarzanie testów pomaga wykrywać regresje po zmianach promptów, modeli lub konfiguracji, a analiza błędów pozwala ustalić, czy korekty wymaga agent, oczekiwana odpowiedź czy kryteria testu (Microsoft Learn). Uruchomienie testów wymaga uprawnień do edycji; wyniki można wyeksportować także dla osób bez dostępu do Copilot Studio.
