Em 30 de outubro de 2026, a Microsoft Research descreveu uma plataforma que cria ambientes empresariais sintéticos e consultas de avaliação para o Microsoft Copilot. A empresa informou uma melhora de 39% em uma métrica composta de qualidade dos dados sintéticos em comparação com sua abordagem inicial. Esse percentual se refere aos dados de teste, não à precisão das respostas do Copilot. (Microsoft Research)
Como funciona a plataforma de avaliação sintética
A Industry Evaluation Data Generation Platform combina três componentes: ambientes empresariais sintéticos, geração automatizada de consultas e estruturas para avaliar a qualidade desses ambientes. A Microsoft descreve espaços de trabalho com usuários, reuniões, e-mails, documentos, estruturas organizacionais e históricos de trabalho simulados e que evoluem ao longo do tempo. Segundo a empresa, o processo não usa dados reais de clientes.
A Microsoft descreveu ambientes para os setores farmacêutico, de mercados de capitais e de TI e software. Cada um reúne situações de trabalho próprias do setor, como discussões sobre ensaios clínicos, revisões de carteiras de investimento ou planejamento de sprints de desenvolvimento.
De fontes públicas a consultas de teste
A Microsoft diz que usa dados do O*NET, anúncios de emprego publicados na internet e documentos apresentados à Comissão de Valores Mobiliários dos Estados Unidos (SEC) para dar contexto a funções, atividades e estruturas organizacionais simuladas. A empresa afirma que suas áreas jurídica e de políticas revisaram e aprovaram essas fontes.
Para criar consultas, o sistema parte de modelos genéricos de tarefas de trabalho e os adapta ao setor e ao ambiente sintético. Em seguida, gera consultas baseadas nesses dados, reescreve-as para que soem naturais e verifica sua precisão e singularidade.
O que os resultados divulgados medem
Os 39% representam a melhora relatada pela Microsoft em uma métrica composta de qualidade dos dados sintéticos, em comparação com sua abordagem inicial de geração. A avaliação considera a fidelidade estrutural, a relevância do contexto, o realismo do comportamento e a segurança do conteúdo. O número não quantifica uma melhora na precisão das respostas do Copilot.
A Microsoft também informou que alguns ambientes sintéticos específicos de setores superaram 0,9 em uma escala de 1,0. A empresa relatou centenas de usuários simulados em cada ambiente e disse que a criação de conjuntos de dados passou de um processo manual de vários dias para execuções automatizadas.
Uma avaliação separada das respostas de agentes
O Microsoft Learn descreve outro método: testes repetíveis, baseados em cenários e com diferentes perfis de usuário para agentes de Employee Self-Service no Copilot Studio. Os resultados podem ser exportados, e a execução dos testes exige acesso de edição. (Microsoft Learn) Esse fluxo avalia respostas do agente nesse contexto específico; a métrica de 39% da plataforma sintética mede a qualidade dos dados usados para avaliação.
