Microsoft Research publiceerde op 30 oktober 2026 een beschrijving van een platform dat synthetische bedrijfsomgevingen en sectorgerichte testvragen genereert voor evaluaties van Microsoft Copilot. Het gemelde cijfer van 39% gaat over de kwaliteit van die synthetische data ten opzichte van Microsofts eerste generatieaanpak, niet over de nauwkeurigheid van Copilot-antwoorden. (Microsoft Research)
Hoe het platform synthetische bedrijfsomgevingen opzet
Microsoft noemt het platform de Industry Evaluation Data Generation Platform. De drie onderdelen zijn synthetische bedrijfsomgevingen, geautomatiseerde pipelines voor het genereren van testvragen en gestructureerde kwaliteitskaders. In de omgevingen simuleert Microsoft gebruikers, vergaderingen, e-mails, documenten, organisatiestructuren en werkgeschiedenis. Microsoft zegt dat in geen enkele fase echte klantgegevens worden gebruikt.
De beschrijving noemt omgevingen voor de farmaceutische sector, kapitaalmarkten en IT en software. De gesimuleerde werkpraktijken verschillen per sector: denk aan klinische onderzoeken en veiligheidsbeoordelingen, dealpijplijnen en compliancecommunicatie, of sprintplanning en codebeoordelingen.
Hoe Microsoft testvragen opbouwt
Microsoft noemt O*NET-gegevens, online vacatureteksten en SEC-filings als openbare bronnen voor de synthetische rollen, taken en organisatiecontext. Het bedrijf zegt dat zijn juridische en beleidsafdeling deze bronnen heeft beoordeeld en goedgekeurd.
De querypipeline begint met sjablonen voor algemene werkopdrachten. Die worden op de sector afgestemd en gekoppeld aan synthetische gegevens. Vervolgens genereert de pipeline vragen, herschrijft die in natuurlijker taal en controleert ze op juistheid en uniciteit.
Wat de gemelde resultaten meten
Microsoft meldt een verbetering van 39% op een samengestelde maatstaf voor de kwaliteit van synthetische data, vergeleken met de eerste generatieaanpak. Voor sommige sectorspecifieke omgevingen rapporteert het bedrijf scores boven 0,9 op een schaal van 1,0. Die cijfers gaan over de synthetische omgevingen, niet over een gemeten verbetering van Copilots antwoorden.
Microsoft meldt ook dat elke omgeving honderden gebruikers bevat en dat het maken van datasets veranderde van handmatig werk van meerdere dagen naar geautomatiseerde runs. Het bedrijf schat de besparing op ongeveer $100.000 per evaluatiedataset en $300.000 voor het hele project.
Een aparte evaluatie van agentantwoorden
Microsoft Learn beschrijft een andere methode voor Employee Self-Service-agents in Copilot Studio: herhaalbare scenariotests met verschillende gebruikersprofielen. De resultaten kunnen worden geëxporteerd; voor het uitvoeren van tests is bewerkingsbevoegdheid nodig. De methode helpt bij het beoordelen van antwoorden in de context van HR-beleid, gebruikersrollen en regio’s. (Microsoft Learn)
