Der individuelle IETF-Entwurf sieht ein neues robots.txt-Token vor: __usage_ai-training soll Website-Betreibern ermöglichen, eine Präferenz gegen die Nutzung bestimmter Pfade zum Training generativer KI auszudrücken. Google, Microsoft, OpenAI und Anthropic sollen das gemeinsame Signal unterstützen. Ihre Zeitpläne unterscheiden sich; das Token ist keine allgemeine Crawling-Sperre.
Was das robots.txt-Token regeln soll
Der Entwurf verwendet vorhandene Pfadregeln in der Datei robots.txt. Als KI-Training gilt darin die Nutzung von Inhalten, um die gelernten Parameter eines generativen KI-Modells zu verändern. Training für Modelle, die ausschließlich nicht generative Aufgaben erfüllen, fällt nicht unter diese Definition. Der individuelle IETF-Entwurf ist kein vom IETF gebilligter Standard und hat keinen formalen Status im Standardisierungsprozess.
Ein Beispiel im Entwurf drückt eine Ablehnung für die gesamte Website aus, mit einer Ausnahme für den Pfad /press-kit/:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
Eine Gruppe mit User-Agent: * gilt laut Entwurf nicht als passender Eintrag für das spezielle Token. Fehlt eine eigene Gruppe für __usage_ai-training, wird über diesen Mechanismus keine Präferenz ausgedrückt. Der Entwurf weist zudem darauf hin, dass private Vereinbarungen zwischen einem Anbieter und einem Unternehmen die so veröffentlichte Präferenz übersteuern können.
Die gemeldeten Zeitpläne der vier Unternehmen
Berichten zufolge unterstützen Google, Microsoft, OpenAI und Anthropic das gemeinsame Signal. Ihre genannten Zeitpläne unterscheiden sich; die Angaben bedeuten nicht, dass die Umsetzung bei allen Unternehmen bereits breit abgeschlossen ist.
| Unternehmen | Zeitplan |
| Anthropic | Die Umsetzung habe laut Berichten begonnen. |
| OpenAI | Die Umsetzung sei für die kommenden Monate vorgesehen. |
| Die Umsetzung sei für 2027 vorgesehen. | |
| Microsoft | Microsoft plant, die neuen Präferenzen ab dem 1. Februar 2027 beim Crawlen zu berücksichtigen. |
Was Microsofts Übergang für ältere Einstellungen vorsieht
Microsofts neue Präferenzen werden laut Unternehmen wirksam, sobald Microsoft die jeweilige Seite erneut crawlt und die Einstellung entdeckt. Das Veröffentlichen einer Präferenz löst für sich genommen keinen Crawl aus. IndexNow kann eine Änderung signalisieren, garantiert aber keinen Zeitpunkt für den nächsten Crawl. Microsoft beschreibt außerdem eigene Übergangsregeln für Training und Grounding.
Die befristete Grounding-Übergangseinstellung in den Bing Webmaster Tools soll am 15. Dezember 2026 für Websites verfügbar werden, die an diesem Tag NoArchive oder NoCache verwenden. Für diese Websites nennt Microsoft zwei Schritte: eine seitenbezogene Grounding-Einstellung veröffentlichen und die befristete Präferenz bis zum 1. März 2027 hinterlegen. Sie endet, sobald ein erneuter Crawl die seitenbezogene Einstellung entdeckt, spätestens jedoch am 30. September 2027.
Ab dem 1. März 2027 will Microsoft NoArchive und NoCache nicht mehr als Präferenzen für KI-Training oder Grounding auslegen. Eine seitenbezogene AI-Training-Präferenz hat bei Microsoft Vorrang vor der robots.txt-Einstellung.
Training, Crawling und Grounding sind getrennte Einstellungen
Das gemeinsame Token betrifft die Trainingsnutzung gekennzeichneter Pfade. Es ist keine Anweisung, einen Crawler am Abruf der Seiten zu hindern. Wer den Zugriff bestimmter Crawler steuern will, verwendet dafür weiterhin separate, crawlerbezogene robots.txt-Gruppen.
Microsoft unterscheidet zusätzlich zwischen AI Training und AI Grounding. Grounding bezeichnet hier die Nutzung einer Seite, um eine KI-generierte Antwort zu unterstützen. Microsofts Grounding-Einstellung gilt seitenbezogen und kennt die Optionen Allow, Disallow und DisallowExtended; eine entsprechende seitenweite robots.txt-Einstellung gibt es bei Microsoft nicht. Ohne eine passende Präferenz setzt Microsoft Training und Grounding standardmäßig auf Allow.
Microsoft zufolge ändern diese Präferenzen nicht die Voraussetzungen für traditionelle Bing-Suchergebnisse. Dafür gelten weiterhin die üblichen Anforderungen an Crawling und Indexierung. Der aktuelle IETF-Entwurf läuft am 3. Mai 2027 aus, sofern er nicht aktualisiert oder ersetzt wird.
