OpenAI, Google und Microsoft kündigten am 30. Oktober 2026 an, ein gemeinsames Signal in der Datei robots.txt für Präferenzen zum KI-Training zu unterstützen. Der im IETF-Entwurf definierte Token __usage_ai-training soll die Nutzung von Website-Inhalten für das Training generativer KI-Modelle regeln. Das Signal sperrt nicht das Crawling der Website. (OpenAI, Google, Microsoft)

OpenAI plante die Umsetzung in den kommenden Monaten, Google im Jahr 2027. Microsoft kündigte an, neue Präferenzen ab dem 1. Februar 2027 beim Crawlen zu berücksichtigen. AFP berichtete außerdem, Anthropic habe sich der Initiative angeschlossen und mit Umsetzungsarbeiten begonnen.

Was __usage_ai-training in robots.txt bedeutet

Der IETF-Entwurf sieht den Token als eigene User-Agent-Gruppe in robots.txt vor. Darunter legen die üblichen Allow- und Disallow-Regeln fest, für welche Pfade eine Präferenz gilt. Disallow: / würde die Präferenz beispielsweise auf die gesamte Website beziehen; einzelne Pfade lassen sich mit Allow ausnehmen. (IETF-Entwurf)

Eine allgemeine Gruppe mit User-Agent: * ersetzt die Token-Gruppe laut Entwurf nicht. Fehlt __usage_ai-training in der Datei, äußert die Website über diesen Mechanismus keine Präferenz. Der Entwurf ist ein Internet-Draft, kein verabschiedeter IETF-Standard.

Warum das Signal Crawling nicht stoppt

Der Token betrifft die Nutzung von Inhalten zum Training, also zum Verändern der gelernten Parameter eines generativen KI-Modells. Er ist keine Anweisung an Crawler, den Zugriff auf eine Seite einzustellen. Wer den Zugriff auf Website-Inhalte einschränken will, braucht dafür getrennte Crawling-Regeln.

Auch eine veröffentlichte Präferenz ist keine technische Sperre. Anbieter, die den Token nicht unterstützen, können die Gruppe ignorieren; der Entwurf sieht zudem vor, dass private Vereinbarungen solche Präferenzen übersteuern können. Er schafft weder einen Durchsetzungsmechanismus noch eine rückwirkende Löschung bereits verwendeter Inhalte. (IETF-Entwurf)

Training und Grounding sind verschiedene Einstellungen

Grounding bezeichnet die Nutzung einer Seite als Grundlage für eine Antwort, die eine KI erzeugt. Microsoft behandelt Grounding und Modelltraining als getrennte Präferenzen. Grounding lässt sich bei Microsoft auf Seitenebene steuern. Das Unternehmen sagt, eine Einschränkung könne die Sichtbarkeit in Microsoft-KI-Erlebnissen verringern, ändere aber nichts an der Berechtigung für traditionelle Bing-Suchergebnisse. Ohne passende Vorgabe gilt laut Microsoft für Training und Grounding jeweils Allow. (Microsoft)

Google plant, eine gemeinsame Trainingssperre als Sperre für Google-Extended zu behandeln, sofern eine Website Google-Extended nicht separat regelt. Eine ausdrückliche Freigabe von Google-Extended macht Inhalte laut Google für Grounding in Gemini Apps zugänglich. Damit können die Folgen für KI-Antworten je nach Anbieter und dessen eigener Regelung unterschiedlich ausfallen. (Google)

Für Websites, die bei Microsoft noch NoArchive oder NoCache nutzen, gilt nach Microsofts Ankündigung der 1. März 2027 als Übergangsfrist für den Wechsel zu den neuen Präferenzen. Wer Grounding einschränken will, soll zusätzlich eine vorübergehende Übergangseinstellung verwenden, um die Einschränkung bis zum erneuten Crawlen aufrechtzuerhalten. Diese Einstellung läuft spätestens am 30. September 2027 oder früher aus, wenn Microsoft die neue Präferenz beim Crawlen erkennt. (Microsoft)