El 30 de octubre de 2026, OpenAI, Google y Microsoft anunciaron planes para respaldar una señal compartida en robots.txt sobre el uso de contenidos para entrenar modelos de IA. El borrador de IETF que la define propone expresar una preferencia, no impedir que los rastreadores accedan a un sitio. (OpenAI, Google y Microsoft)
OpenAI dijo que esperaba implementar la señal en los meses siguientes al anuncio; Google prevé hacerlo durante 2027, y Microsoft anunció que aplicaría sus nuevas preferencias al rastrear páginas desde el 1 de febrero de 2027. AFP informó el 31 de octubre de que Anthropic también se había sumado a la iniciativa y había empezado a trabajar en su implementación.
Qué expresa __usage_ai-training
El borrador de IETF define __usage_ai-training como un grupo User-Agent dentro de robots.txt. En ese grupo, las reglas habituales Allow y Disallow expresan preferencias para determinadas rutas. Por ejemplo, Disallow: / indica una preferencia que abarca todas las rutas:
User-Agent: __usage_ai-training
Disallow: /
La preferencia se refiere al uso de contenidos para modificar los parámetros aprendidos de un modelo de IA generativa. El borrador excluye de esa definición el entrenamiento dedicado exclusivamente a tareas no generativas. Es un Internet-Draft, un documento de trabajo, no una norma de IETF ya aprobada. (Borrador de IETF)
Un archivo robots.txt sin un grupo para __usage_ai-training no expresa una preferencia mediante este mecanismo. Tampoco basta con incluir User-Agent: *: el borrador especifica que ese grupo comodín no coincide con el token.
La señal no bloquea el rastreo ni garantiza el cumplimiento
__usage_ai-training comunica una preferencia sobre el entrenamiento; no es una directiva de rastreo. Para limitar el acceso de los rastreadores, hacen falta reglas específicas de rastreo por separado. OpenAI y Google también dijeron que sus controles propios seguirían funcionando junto a la señal compartida. (OpenAI y Google)
El borrador permite que acuerdos privados prevalezcan sobre la preferencia y señala que los servicios que no implementen el token pueden ignorarlo. Por tanto, la señal no crea una obligación técnica universal ni un mecanismo para retirar contenidos que ya se hayan usado en el entrenamiento. (Borrador de IETF)
Entrenamiento y uso en respuestas de IA son controles distintos
Microsoft separa el entrenamiento del grounding, es decir, el uso de una página para fundamentar una respuesta generada. En el diseño anunciado por la empresa, el entrenamiento puede configurarse en robots.txt o a nivel de página; la preferencia de página prevalece sobre la del archivo. El grounding se controla por página y puede ajustarse de forma independiente. Si no hay una preferencia aplicable, Microsoft considera permitidos ambos usos. (Microsoft)
Microsoft afirma que restringir el grounding puede reducir la visibilidad en sus experiencias de IA, pero no cambia la elegibilidad de una página para los resultados tradicionales de Bing. Para los sitios afectados que todavía dependan de NoArchive o NoCache, Microsoft fijó el 1 de marzo de 2027 como fecha límite para publicar las nuevas preferencias. En los casos con restricciones de grounding, un ajuste transitorio podrá mantenerlas durante el nuevo rastreo; caducará el 30 de septiembre de 2027 o antes si Microsoft detecta la nueva preferencia al rastrear la página. (Microsoft)
Google, por su parte, planea interpretar una exclusión compartida del entrenamiento como un Disallow para Google-Extended, salvo que el sitio configure ese control por separado. Google indica que permitir Google-Extended hace que el contenido sea apto para el grounding en Gemini Apps. (Google)
