robots.txt : le signal proposé pour refuser l’entraînement IA

Google, Microsoft, OpenAI et Anthropic sont rapportés comme soutenant un même jeton pour exprimer une préférence contre l’entraînement de modèles d’IA à partir de certains contenus. Le mécanisme figure dans un projet individuel de l’IETF et ne bloque pas, à lui seul, l’exploration des sites par les robots.

Ce que le jeton exprime dans robots.txt

Le jeton proposé, __usage_ai-training, permettrait d’indiquer une préférence concernant l’utilisation de chemins précis d’un site pour entraîner un modèle génératif. Le projet définit l’entraînement comme une opération qui modifie les paramètres appris par le modèle. Il exclut l’entraînement de modèles consacrés exclusivement à des tâches non génératives. Le document réutilise les règles de chemin déjà employées par robots.txt :

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Dans cet exemple, la préférence s’applique à tout le site sauf au chemin /press-kit/. Une règle User-Agent: * ne correspond pas au jeton, et un fichier sans groupe __usage_ai-training n’exprime aucune préférence par ce mécanisme. Le texte du projet individuel de l’IETF précise aussi que le jeton n’est pas une directive d’exploration : les groupes visant les robots d’exploration restent distincts. Des accords privés peuvent prévaloir sur la préférence exprimée par le jeton.

La vidéo de SiliScope, en anglais, présente le signal proposé et distingue l’entraînement des règles d’exploration.

Le document est un Internet-Draft individuel, sans approbation de l’IETF ni statut formel dans son processus de normalisation. Sa version actuelle expire le 3 mai 2027 si elle n’est pas mise à jour ou remplacée.

Les calendriers annoncés ou rapportés

Les comptes rendus présentent quatre entreprises comme soutenant le signal, avec des échéances différentes. Pour Anthropic, ils rapportent un début de mise en œuvre, sans établir un déploiement achevé dans tous ses services.

La transition particulière de Microsoft

Microsoft distingue la préférence AI Training, qui concerne l’entraînement, de l’AI Grounding, ou ancrage : l’utilisation d’une page pour éclairer une réponse générée. Sa préférence AI Training peut s’appliquer à un site ou à un chemin dans robots.txt. Microsoft propose aussi un réglage par page, qui prévaut sur celui de robots.txt. L’AI Grounding relève d’un réglage distinct, disponible par page avec les choix Allow, Disallow et DisallowExtended.

Pour les sites qui utilisaient NoArchive ou NoCache au 15 décembre 2026, Microsoft prévoit d’ouvrir à cette date une préférence temporaire d’AI Grounding dans Bing Webmaster Tools. Les sites concernés doivent publier leurs préférences d’ancrage par page et enregistrer ce réglage temporaire au plus tard le 1er mars 2027. Il prend fin lorsque Microsoft découvre le réglage de la page lors d’une nouvelle exploration ou le 30 septembre 2027, selon la première échéance.

La publication d’une préférence ne suffit pas à la faire appliquer : Microsoft indique que ses systèmes doivent d’abord explorer la page. IndexNow peut signaler un changement, sans garantir la date de cette nouvelle exploration. À compter du 1er mars 2027, Microsoft prévoit aussi de ne plus interpréter NoArchive et NoCache comme des préférences d’entraînement ou d’ancrage.

Microsoft indique que ces préférences ne changent pas l’éligibilité aux résultats de la recherche Bing classique, qui reste soumise aux conditions habituelles d’exploration et d’indexation.