Google wil begin 2027 een gedeeld signaal voor AI-trainingsvoorkeuren ondersteunen. Volgens een op 30 oktober gepubliceerd bericht haalde Google daarvoor een notitie uit zijn documentatie voor crawlers aan. Het voorgestelde token, __usage_ai-training, is bedoeld voor websitebeheerders die via robots.txt willen aangeven hoe hun inhoud mag worden gebruikt. Het token blokkeert crawlers niet.

Wat de voorgestelde trainingsvoorkeur regelt

De IETF-ontwerptekst gebruikt __usage_ai-training in een User-Agent-groep van robots.txt. Websitebeheerders kunnen er gewone padregels bij zetten, zoals Allow en Disallow. De tekst introduceert daarvoor geen nieuwe regelsyntaxis. De ontwerptekst definieert AI-training als het gebruik van materiaal om de aangeleerde parameters van een generatief AI-model aan te passen. Gebruik voor uitsluitend niet-generatieve taken zoals classificeren, rangschikken of scoren valt buiten die definitie.

De voorkeur gaat dus over het gebruik van website-inhoud voor training, niet over de activiteit van een individuele Gemini-gebruiker. De ontwerptekst beschrijft een instelling voor websitebeheerders die hun voorkeuren in robots.txt vastleggen.

Waarom het token crawlers niet tegenhoudt

De ontwerptekst zegt dat de trainingsvoorkeur en regels voor crawlerverkeer los van elkaar staan. __usage_ai-training is zelf geen crawlregel. Wie crawlerbezoek wil beperken, heeft daarvoor aparte, crawler-specifieke regels nodig.

Een dienst die de voorkeur uitleest, kan die meewegen bij de beslissing om een pagina op te halen. Het token garandeert daarom op zichzelf niet dat inhoud nooit wordt opgehaald of gebruikt. De ontwerptekst merkt ook op dat een privéovereenkomst een voorkeur die via dit mechanisme is vastgelegd, kan overrulen.

Google-Extended en de status van de ontwerptekst

Google Search Advocate John Mueller zei volgens de berichtgeving van 30 oktober dat Google een opt-out met het gedeelde token wil behandelen als een blokkering van Google-Extended, tenzij een website Google-Extended apart vermeldt. Volgens datzelfde bericht blijven bestaande provider-specifieke instellingen bruikbaar. Websites die Google-Extended toestaan, komen volgens Google in aanmerking om in antwoorden van Gemini Apps te verschijnen en via grounding klikken te ontvangen. Dat is geen garantie op een vermelding of klik.

De instelling is een voornemen van Google voor begin 2027; de huidige ontwerptekst is versie -00. De IETF Datatracker classificeert die als een individuele Internet-Draft, zonder goedkeuring van de IETF of formele status in het standaardisatieproces.