Op 30 oktober 2026 kondigden OpenAI, Google en Microsoft aan dat ze een gedeeld signaal in robots.txt willen ondersteunen voor voorkeuren rond AI-training. Het voorgestelde signaal laat websites aangeven of hun inhoud mag worden gebruikt om generatieve AI-modellen te trainen. Het is geen opdracht om crawlers tegen te houden. OpenAI, Google en Microsoft hebben elk hun eigen planning voor ondersteuning bekendgemaakt. AFP meldde op 31 oktober dat ook Anthropic zich bij het initiatief had aangesloten en al aan de implementatie werkte.

Wat de voorgestelde robots.txt-token aangeeft

Een IETF-ontwerp stelt de token __usage_ai-training voor als aparte User-Agent-groep in robots.txt. Binnen die groep geven gewone Allow- en Disallow-regels aan op welke paden de trainingsvoorkeur van toepassing is. Het ontwerp omschrijft training als gebruik van inhoud om de aangeleerde parameters van een generatief AI-model aan te passen. Training voor uitsluitend niet-generatieve taken valt buiten die definitie. Het IETF-ontwerp is een werkdocument, geen aangenomen standaard.

Een site die de voorkeur voor alle paden wil aangeven, kan volgens het ontwerp bijvoorbeeld deze groep opnemen:

User-Agent: __usage_ai-training
Disallow: /

Een User-Agent: *-groep geldt volgens het ontwerp niet als een match voor deze specifieke token. Staat de token niet in robots.txt, dan geeft de site via dit mechanisme geen trainingsvoorkeur door.

De token houdt crawlers niet tegen

De token is een voorkeur over het gebruik van inhoud voor training, geen crawldirectief. Wie toegang tot pagina’s wil beperken, heeft daarvoor afzonderlijke crawlerregels nodig. Bovendien kunnen partijen die de token niet ondersteunen de groep negeren. Het IETF-ontwerp staat ook toe dat private afspraken voorgaan op de voorkeur. De token is dus geen technische handhaving en biedt geen mechanisme om eerder gebruikte trainingsgegevens achteraf te verwijderen.

OpenAI zei de token in de komende maanden te willen implementeren en later meer informatie te geven. Google mikt op ondersteuning in 2027. Microsoft zegt de nieuwe voorkeuren vanaf 1 februari 2027 te zullen toepassen wanneer het pagina’s crawlt. Dat zijn de aangekondigde plannen van de bedrijven, geen gezamenlijke uitrol op één datum.

Voor websites die bij Microsoft nog op NoArchive of NoCache vertrouwen, geldt een aparte overgang. Zij moeten uiterlijk 1 maart 2027 nieuwe voorkeuren publiceren. Wie het gebruik van pagina’s voor grounding wil beperken, moet ook Microsofts tijdelijke overgangsinstelling gebruiken om die beperking tijdens het opnieuw crawlen te handhaven. Die tijdelijke instelling verloopt uiterlijk 30 september 2027, of eerder als Microsoft de pagina opnieuw crawlt en de nieuwe voorkeur ontdekt. Microsoft beschrijft ook de afzonderlijke instellingen voor training en grounding.

Training en grounding zijn verschillende keuzes

Grounding is het gebruik van een webpagina als informatiebron voor een door AI gegenereerd antwoord. Microsoft behandelt training en grounding als aparte voorkeuren: training kan via robots.txt of op paginaniveau worden ingesteld, terwijl grounding een instelling op paginaniveau heeft. Als geen voorkeur van toepassing is, zijn beide volgens Microsoft standaard toegestaan. Een beperking voor grounding kan de zichtbaarheid in Microsofts AI-ervaringen verminderen, maar verandert volgens het bedrijf niets aan de geschiktheid voor gewone Bing-zoekresultaten.

Ook Google maakt een onderscheid tussen de gedeelde trainingsvoorkeur en Google-Extended. Google zegt een gedeelde opt-out voor training als een verbod voor Google-Extended te willen behandelen wanneer een site Google-Extended niet afzonderlijk instelt. Een expliciete toestemming voor Google-Extended maakt inhoud volgens Google geschikt voor grounding in Gemini Apps. De gevolgen van de gedeelde token hangen daardoor mede af van de instellingen die een uitgever bij een aanbieder apart opgeeft.