Google plant, Anfang 2027 ein gemeinsames Signal für KI-Trainingspräferenzen von Websites zu unterstützen. Websitebetreiber sollen damit festlegen können, ob Inhalte für das Training generativer KI genutzt werden dürfen. Das vorgeschlagene Token __usage_ai-training ist jedoch keine Anweisung, die Crawler vom Zugriff auf eine Website abhält.
Welche Nutzung das Signal betrifft
Der Entwurf der Internet Engineering Task Force (IETF) versteht unter KI-Training die Nutzung abgerufener Inhalte, um die erlernten Parameter eines generativen KI-Modells zu verändern. Ausschließlich nicht generative Aufgaben wie Klassifizierung, Ranking oder Bewertung fallen nicht unter diese Definition. Das Token soll als eigene User-Agent-Gruppe in der Datei robots.txt stehen; für Pfade gelten die üblichen Regeln wie Allow und Disallow. Der IETF-Entwurf führt dafür keine neuen Anweisungen oder eine neue Syntax ein.
Eine Trainingspräferenz sperrt keine Crawler
__usage_ai-training ist laut Entwurf keine Crawling-Anweisung. Die Präferenz zur Nutzung von Inhalten und die Regeln für den Zugriff von Crawlern sind voneinander getrennt. Wer den Zugriff auf bestimmte Website-Pfade begrenzen will, braucht dafür eigene, crawler-spezifische Regeln in der robots.txt.
Das Signal ist außerdem keine technische Garantie, dass Inhalte nicht abgerufen oder genutzt werden. Anbieter können die Präferenz bei der Entscheidung berücksichtigen, ob sie Inhalte abrufen. Der Entwurf hält auch fest, dass private Vereinbarungen eine über das Signal geäußerte Präferenz übersteuern können.
Was Google zu Google-Extended plant
John Mueller, Googles Search Advocate, erklärte, Google wolle eine Ablehnung über das gemeinsame Token auch als Ablehnung von Google-Extended behandeln, sofern eine Website Google-Extended nicht ausdrücklich separat aufführt. Die bestehenden anbieterspezifischen Kontrollen sollen daneben weiter funktionieren.
Google zufolge können Websites, die Google-Extended ausdrücklich erlauben, für Antworten in Gemini Apps und Klicks über Grounding infrage kommen. Das begründet eine mögliche Teilnahme, aber keine Zusage, dass eine Website tatsächlich in einer Antwort erscheint oder Klicks erhält.
Der Entwurf ist noch kein IETF-Standard
Der IETF Datatracker führt die Fassung -00 als individuellen Internet-Draft. Sie ist nicht von der IETF gebilligt und hat keinen formalen Status im Standardisierungsprozess. Als Ablaufdatum dieser Fassung ist der 3. Mai 2027 verzeichnet.
Das Signal betrifft Websitebetreiber, die Präferenzen für Inhalte in ihrer robots.txt festlegen. Es ist keine Einstellung für die Gemini-Aktivität oder andere persönliche Google-Kontodaten.
