Em 30 de outubro de 2026, OpenAI, Google e Microsoft anunciaram planos para apoiar um sinal compartilhado em robots.txt que permite aos sites expressar uma preferência sobre o uso de seu conteúdo no treinamento de IA generativa. O token proposto, __usage_ai-training, não impede que robôs rastreiem as páginas nem garante que todos os provedores respeitem a preferência.
A OpenAI pretende implementar o sinal nos meses seguintes ao anúncio; o Google planeja adotá-lo em 2027. A Microsoft informou que começará a honrar as novas preferências a partir de 1º de fevereiro de 2027, à medida que rastrear páginas. Em reportagem publicada em 31 de outubro, a AFP noticiou que a Anthropic também havia aderido à iniciativa e começado a trabalhar na implementação.
Como o sinal aparece no robots.txt
O rascunho do IETF define __usage_ai-training como um grupo User-Agent no arquivo robots.txt. As regras Disallow e Allow indicam a preferência para caminhos específicos. Um exemplo de exclusão de todas as rotas é:
User-Agent: __usage_ai-training
Disallow: /
O token trata do uso de conteúdo para modificar os parâmetros aprendidos de um modelo generativo. O rascunho do IETF é uma proposta em desenvolvimento, não um padrão finalizado. Um grupo User-Agent: * não substitui o grupo do token; se o arquivo não tiver esse grupo, o site não expressa uma preferência por esse mecanismo.
A preferência não bloqueia o rastreamento
O sinal diz como o site prefere que seu conteúdo seja usado no treinamento, mas não é uma diretiva de rastreamento. Para restringir o acesso dos robôs às páginas, o site precisa de regras de rastreamento separadas. O sinal também não cria um mecanismo para remover retroativamente conteúdo já usado no treinamento.
A preferência não funciona como uma trava técnica: consumidores que não implementarem o token podem ignorá-lo, e o rascunho permite que acordos privados prevaleçam. Publicar o grupo no robots.txt, portanto, não garante que todo provedor vá segui-lo.
Treinamento e uso em respostas de IA são controles diferentes
Treinamento significa usar conteúdo para alterar os parâmetros aprendidos de um modelo. Grounding é o uso de uma página como contexto para gerar uma resposta. Google e Microsoft descrevem controles distintos para esses usos.
O Google planeja tratar uma exclusão compartilhada de treinamento como uma proibição para o Google-Extended, a menos que o site especifique o Google-Extended separadamente. O Google diz que permitir explicitamente esse rastreador torna o conteúdo elegível para grounding nos Gemini Apps. Esses detalhes constam do anúncio do Google.
A Microsoft separa as preferências de treinamento e grounding. O treinamento pode ser controlado pelo robots.txt ou por uma preferência no nível da página, que prevalece sobre a regra do arquivo; o grounding é controlado no nível da página. Sem uma preferência aplicável, a Microsoft diz que ambos ficam em Allow. Restringir o grounding pode reduzir a visibilidade nas experiências de IA da Microsoft, mas não altera a elegibilidade nos resultados tradicionais do Bing, segundo o anúncio da empresa.
