Microsoft Research ha pubblicato il 30 ottobre 2026 una descrizione della Industry Evaluation Data Generation Platform, una piattaforma che genera ambienti aziendali sintetici e query specifiche per settore per valutare Microsoft Copilot. Il 39% riportato da Microsoft riguarda un indicatore composito della qualità dei dati sintetici rispetto al suo approccio iniziale, non la precisione delle risposte di Copilot. Microsoft Research
Che cosa fa la piattaforma di valutazione sintetica
La piattaforma riunisce tre componenti: ambienti aziendali sintetici, pipeline automatizzate per generare query e framework strutturati per valutarne la qualità. Gli ambienti simulano utenti, riunioni, email, documenti, strutture organizzative e cronologie di lavoro che cambiano nel tempo. Microsoft afferma che la pipeline non usa dati reali dei clienti.
Microsoft descrive ambienti dedicati a tre settori: farmaceutico, mercati dei capitali e informatica e software. In ciascuno, le attività simulate riflettono contesti di lavoro specifici, come revisioni di sicurezza dei farmaci, comunicazioni di conformità o pianificazione degli sprint software.
Come nascono gli ambienti e le query di test
Microsoft indica come fonti di riferimento i dati professionali di O*NET, gli annunci di lavoro online e i documenti depositati presso la Securities and Exchange Commission statunitense. Questi segnali contribuiscono a definire ruoli, attività e strutture organizzative negli ambienti sintetici. Microsoft afferma che le proprie funzioni legali e di policy hanno esaminato e approvato le fonti.
Per generare le query, la piattaforma parte da modelli generici di attività lavorative, li adatta al settore e ai dati sintetici, quindi crea domande e le riformula in modo naturale. Infine, controlla che siano accurate e uniche.
Che cosa misura il 39% dichiarato da Microsoft
Il 39% è il miglioramento riportato da Microsoft per una misura composita della qualità dei dati sintetici, confrontata con il suo approccio iniziale alla generazione. Microsoft riferisce inoltre che alcuni ambienti specifici per settore hanno ottenuto punteggi superiori a 0,9 su 1,0.
La qualità valutata riguarda gli ambienti sintetici: i criteri elencati da Microsoft sono fedeltà strutturale, rilevanza contestuale, realismo comportamentale e sicurezza dei contenuti. Il dato del 39% non misura un aumento dell’accuratezza di Copilot. Le due misure rispondono a domande diverse: quanto un ambiente sintetico riproduce un contesto di lavoro e quanto bene un agente risponde a una richiesta.
Una valutazione distinta delle risposte degli agenti
Microsoft Learn descrive test ripetibili, basati su scenari e profili utente diversi, per gli agenti Employee Self-Service in Copilot Studio. I risultati si possono esportare; per eseguire i test serve l’accesso di modifica. La guida riguarda la valutazione delle risposte di questi agenti e presenta un flusso distinto dalla valutazione della qualità degli ambienti sintetici. Microsoft Learn
