Le 30 octobre 2026, OpenAI, Google et Microsoft ont annoncé qu’ils prévoyaient de prendre en charge un signal commun dans robots.txt. Celui-ci permettrait à un site d’exprimer une préférence sur l’utilisation de ses contenus pour entraîner des modèles d’IA générative, mais ne bloque pas l’exploration du site par les robots. OpenAI, Google et Microsoft ont annoncé des calendriers de mise en œuvre différents.

Le jeton proposé dans robots.txt

Le brouillon de l’IETF définit le jeton __usage_ai-training, à placer dans un groupe User-Agent de robots.txt. Les directives habituelles Allow et Disallow peuvent ensuite exprimer une préférence pour des chemins du site. Par exemple, ce groupe exprime une préférence contre l’utilisation de l’ensemble du site pour l’entraînement :

User-Agent: __usage_ai-training
Disallow: /

Le brouillon définit l’entraînement comme l’utilisation d’un contenu pour modifier les paramètres appris d’un modèle d’IA générative. Les tâches exclusivement non génératives sont hors de cette définition. Le document est un brouillon Internet de l’IETF, pas une norme finalisée. Lire le brouillon de l’IETF.

Un fichier robots.txt sans groupe portant ce jeton n’exprime aucune préférence par ce mécanisme. Un groupe générique User-Agent: * ne remplace pas non plus le groupe __usage_ai-training.

Une préférence qui ne bloque pas l’exploration

__usage_ai-training concerne l’utilisation des contenus pour l’entraînement, pas l’accès des robots aux pages. Pour limiter l’exploration, un site doit définir séparément ses règles destinées aux robots concernés. Le brouillon précise aussi qu’un service qui n’implémente pas le jeton peut ignorer ce groupe. Il ne prévoit ni mécanisme technique d’application de la préférence ni suppression rétroactive des contenus déjà utilisés ; des accords privés peuvent également prévaloir.

Les calendriers annoncés ne signifient pas que les trois entreprises ont déjà activé le signal. OpenAI visait une mise en œuvre dans les mois suivant son annonce. Google a annoncé viser 2027. Microsoft a prévu d’honorer les nouvelles préférences à partir du 1er février 2027, à mesure qu’il explore les pages. L’AFP a rapporté le 31 octobre qu’Anthropic avait rejoint l’initiative et commencé des travaux de mise en œuvre.

Pour les sites concernés qui s’appuient encore sur NoArchive ou NoCache, Microsoft a fixé au 1er mars 2027 l’échéance pour publier de nouvelles préférences. Lorsqu’un site veut maintenir une restriction de grounding pendant le temps nécessaire au recrawl, le réglage transitoire prévu par Microsoft expire au plus tard le 30 septembre 2027, ou plus tôt si Microsoft recrawle la page et détecte sa nouvelle préférence. Détails du calendrier Microsoft.

Entraînement et grounding : deux choix distincts

Le grounding consiste à utiliser une page pour étayer une réponse générée par une IA. Microsoft distingue cette utilisation de l’entraînement : ses préférences de grounding s’appliquent à l’échelle d’une page, séparément des préférences d’entraînement. Restreindre le grounding peut réduire la visibilité d’une page dans les expériences d’IA de Microsoft, sans modifier son admissibilité aux résultats de recherche classiques de Bing. Microsoft décrit ces deux contrôles séparément.

Google prévoit de traiter une préférence partagée contre l’entraînement comme un refus de Google-Extended, sauf si le site définit séparément sa règle pour Google-Extended. Google indique qu’autoriser explicitement Google-Extended rend le contenu admissible au grounding dans Gemini Apps. Ces réglages propres à chaque fournisseur déterminent donc aussi la façon dont une préférence d’entraînement peut se répercuter sur l’utilisation des pages dans des réponses d’IA. Explications de Google.