Microsoft Research a décrit, le 30 octobre 2026, une plateforme qui génère des environnements d’entreprise synthétiques et des requêtes sectorielles pour évaluer Microsoft Copilot. Le chiffre de 39 % publié par Microsoft mesure une amélioration de la qualité de ces données synthétiques par rapport à son approche initiale, pas une hausse de la précision des réponses de Copilot.
Une entreprise simulée pour évaluer Copilot
La plateforme, baptisée Industry Evaluation Data Generation Platform, s’appuie sur trois éléments : des environnements d’entreprise synthétiques, des outils automatisés de génération de requêtes et des cadres d’évaluation de la qualité. Microsoft décrit des espaces de travail simulés qui réunissent des utilisateurs, des réunions, des courriels, des documents et des structures organisationnelles. Les échanges et l’activité professionnelle évoluent aussi dans le temps, par exemple avec des fils de courriels qui se développent sur plusieurs semaines.
Microsoft indique que ces environnements n’utilisent pas de données réelles de ses clients. Pour les construire, l’entreprise cite des données professionnelles d’O*NET, des offres d’emploi en ligne et des documents déposés auprès de la Securities and Exchange Commission (SEC) américaine. Ces références servent notamment à façonner les rôles, les activités et les structures d’organisation simulés.
Les environnements décrits couvrent trois secteurs : l’industrie pharmaceutique, les marchés de capitaux et l’informatique et les logiciels. Les tâches simulées peuvent porter sur des échanges autour d’essais cliniques, des dossiers de conformité financière ou des revues de code, selon le secteur.
Comment Microsoft construit les requêtes de test
Le système part de modèles génériques de tâches professionnelles, puis les adapte au secteur et aux données synthétiques de l’environnement. Il génère des requêtes liées à ces données, les reformule pour leur donner un ton naturel, puis vérifie leur exactitude et leur unicité. Une requête peut ainsi porter sur une activité simulée précise plutôt que sur un scénario de travail abstrait.
Ce que mesurent les résultats annoncés
Microsoft rapporte une amélioration de 39 % de sa mesure composite de la qualité des données synthétiques, par rapport à sa première méthode de génération. L’entreprise indique aussi que certains environnements sectoriels ont obtenu un score supérieur à 0,9 sur 1. Ces résultats portent sur la qualité des environnements et des données de test, pas sur la précision des réponses de Copilot ni sur les résultats obtenus par ses clients.
Microsoft affirme que chaque environnement contient des centaines d’utilisateurs simulés et que la création des jeux de données est passée d’un travail manuel de plusieurs jours à des exécutions automatisées. Ces chiffres décrivent la méthode et son fonctionnement à l’échelle de ces environnements.
Une autre évaluation des réponses d’agents
Microsoft Learn décrit séparément des tests répétables, fondés sur des scénarios et différents profils d’utilisateurs, pour les agents Employee Self-Service dans Copilot Studio. Les résultats peuvent être exportés ; l’exécution des tests requiert un accès de modification. Cette méthode évalue les réponses de l’agent dans le contexte des politiques RH et du profil de l’utilisateur. La documentation Microsoft Learn sur l’évaluation des réponses d’Employee Self-Service décrit ce dispositif pour ces agents.
