Google, Microsoft, OpenAI en Anthropic steunen volgens berichtgeving een gedeeld token voor robots.txt waarmee websites een voorkeur over AI-training op specifieke paden kunnen aangeven. Het token staat in een individueel Internet-Draft van de IETF en is geen algemene opdracht om crawlers te weren.
Wat het token in robots.txt vastlegt
Het voorgestelde token, __usage_ai-training, drukt een voorkeur uit over het gebruik van webcontent om de aangeleerde parameters van een generatief AI-model aan te passen. Het draft sluit training van modellen die uitsluitend niet-generatieve taken uitvoeren uit. De regels voor paden volgen de bestaande robots.txt-opzet; het voorstel voegt geen nieuwe crawlrichtlijn toe. In het IETF-draft staat bijvoorbeeld:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
Dit voorbeeld geeft voor de genoemde trainingsvoorkeur alle paden aan, behalve /press-kit/. Een groep met User-Agent: * geldt volgens het draft niet als een match voor __usage_ai-training. Zonder een aparte groep met dat token geeft de website via dit mechanisme geen trainingsvoorkeur aan.
Het token bepaalt niet of een crawler toegang krijgt tot pagina’s. Websites kunnen daarvoor aparte regels voor specifieke crawlers blijven gebruiken. Ook kunnen privéovereenkomsten tussen een dienstverlener en een bedrijf de voorkeur die via het token is aangegeven overrulen.
Wanneer de bedrijven zeggen te beginnen
De gerapporteerde tijdlijnen lopen uiteen. Microsoft heeft een eigen startdatum genoemd; voor de andere bedrijven zijn de termijnen in berichtgeving gemeld.
| Bedrijf | Gerapporteerde of aangekondigde planning |
| Anthropic | Op 1 november meldden berichten dat de implementatie was begonnen. |
| OpenAI | Berichten van 1 november noemden de daaropvolgende maanden. |
| Berichten noemden 2027 als doel. | |
| Microsoft | Vanaf 1 februari 2027, naarmate Microsoft pagina’s crawlt. |
Het voorstel is een individueel Internet-Draft, geen door de IETF goedgekeurde standaard. De IETF Datatracker vermeldt dat het document geen formele status heeft in het normalisatieproces en dat de huidige versie op 3 mei 2027 vervalt, tenzij die wordt bijgewerkt of vervangen.
Microsofts overgang voor NoArchive en NoCache
Microsoft zegt dat de nieuwe voorkeuren vanaf 1 februari 2027 effect krijgen wanneer Bing pagina’s crawlt. Een voorkeur publiceren activeert die niet meteen: Bing moet de pagina eerst opnieuw crawlen en de instelling ontdekken. IndexNow kan een wijziging signaleren, maar garandeert geen datum voor een nieuwe crawl. Microsoft beschrijft de planning en voorwaarden in zijn aankondiging over voorkeuren voor training en grounding.
De tijdelijke overgangsinstelling voor grounding in Bing Webmaster Tools opent op 15 december 2026 uitsluitend voor websites die op die datum NoArchive of NoCache gebruiken. Microsoft vraagt deze websites ook voorkeuren voor grounding per pagina te publiceren en uiterlijk 1 maart 2027 een tijdelijke voorkeur vast te leggen. Die tijdelijke instelling eindigt zodra Bing bij een nieuwe crawl de voorkeur per pagina ontdekt, of op 30 september 2027, afhankelijk van wat het eerst gebeurt. Vanaf 1 maart 2027 leest Microsoft NoArchive en NoCache niet langer als voorkeuren voor training of grounding.
Training, grounding, crawlen en zoeken zijn aparte keuzes
Microsoft maakt onderscheid tussen AI-training en AI-grounding. Grounding betekent dat content wordt gebruikt om een AI-gegenereerd antwoord te helpen samenstellen. Microsoft biedt daarvoor voorkeuren per pagina met de opties Allow, Disallow en DisallowExtended; voor grounding is er geen sitebrede robots.txt-voorkeur. Een voorkeur voor AI Training op paginaniveau gaat bij Microsoft vóór de instelling in robots.txt. Zonder een toepasselijke voorkeur staan training en grounding volgens Microsoft standaard op Allow.
Microsoft zegt dat deze voorkeuren de geschiktheid voor gewone Bing-zoekresultaten niet veranderen, mits aan de gebruikelijke crawl- en indexeringsvoorwaarden wordt voldaan. De gedeelde trainingsvoorkeur is dus geen algemene instelling voor zoekresultaten of voor grounding bij andere aanbieders.
