Google, Microsoft, OpenAI i Anthropic są według doniesień prasowych zainteresowane wspólnym sygnałem w robots.txt, który pozwala wyrazić preferencję dotyczącą treningu modeli AI. Proponowany token __usage_ai-training opisuje użycie treści do treningu, ale sam nie blokuje dostępu robotom internetowym. Szczegóły wdrożenia różnią się między firmami, a Microsoft osobno opisał terminy przejściowe dla stron korzystających ze starszych ustawień.
Co oznacza token __usage_ai-training
Token znalazł się w indywidualnym projekcie dokumentu IETF, a nie w zatwierdzonym standardzie. Projekt definiuje trening AI jako użycie zasobu do zmiany parametrów modelu generatywnego. Nie obejmuje treningu modeli używanych wyłącznie do zadań niegeneratywnych. Projekt IETF wykorzystuje istniejące reguły ścieżek w robots.txt, zamiast dodawać nową dyrektywę.
Przykład z projektu wyraża sprzeciw wobec treningu na całej witrynie poza katalogiem /press-kit/:
User-agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
Grupa User-agent: * nie wyraża tej preferencji. Potrzebna jest osobna grupa z tokenem __usage_ai-training; plik bez takiej grupy nie przekazuje preferencji za pomocą tego mechanizmu. Prywatna umowa między operatorem usługi a firmą może mieć pierwszeństwo przed ustawieniem z projektu.
Kiedy firmy mają wdrażać wspólny sygnał
Daty różnią się, a poza Microsoftem terminy są relacjonowane w doniesieniach prasowych. Microsoft opublikował własny plan; poniższe zestawienie nie oznacza, że wdrożenia już zakończono.
| Firma | Ogłoszony lub relacjonowany termin |
| Anthropic | Według doniesień rozpoczęła wdrażanie; nie podano terminu zakończenia we wszystkich usługach. |
| OpenAI | Według doniesień wdrożenie planowano w najbliższych miesiącach. |
| Według doniesień wdrożenie planowano na 2027 rok. | |
| Microsoft | Firma zapowiedziała uwzględnianie nowych preferencji podczas crawlowania od 1 lutego 2027 roku. |
Projekt IETF pozostaje indywidualnym Internet-Draftem, bez formalnego statusu w procesie standaryzacyjnym tej organizacji. Aktualna wersja ma wygasnąć 3 maja 2027 roku, jeśli nie zostanie zaktualizowana lub zastąpiona.
Co Microsoft mówi o starych ustawieniach NoArchive i NoCache
Microsoft przygotował okres przejściowy dla witryn, które 15 grudnia 2026 roku nadal używają NoArchive lub NoCache. Tylko te witryny będą mogły od tego dnia ustawić tymczasową preferencję dotyczącą AI Grounding w Bing Webmaster Tools. Grounding oznacza tu wykorzystanie treści strony jako podstawy dla odpowiedzi generowanych przez AI.
Microsoft zaleca kwalifikującym się witrynom ustawienie preferencji Grounding osobno dla stron oraz zapisanie preferencji tymczasowej do 1 marca 2027 roku. Wygaśnie ona, gdy Microsoft ponownie odwiedzi stronę i wykryje jej ustawienie, albo 30 września 2027 roku, zależnie od tego, co nastąpi wcześniej. Od 1 marca 2027 roku Microsoft nie będzie już traktować NoArchive ani NoCache jako preferencji dotyczących treningu lub Grounding.
Microsoft rozdziela też AI Training od AI Grounding. Preferencja AI Training ustawiona dla pojedynczej strony ma pierwszeństwo przed ustawieniem z robots.txt. Grounding ma własne ustawienia dla stron i nie korzysta z ogólnowitrynowej preferencji w robots.txt. Microsoft podaje, że nowe ustawienia zacznie uwzględniać podczas crawlowania od 1 lutego 2027 roku. Samo opublikowanie preferencji nie uruchamia jej działania: Microsoft musi ponownie odwiedzić stronę i ją odczytać. IndexNow może zasygnalizować zmianę, ale nie gwarantuje terminu ponownego crawlowania.
Według Microsoftu te preferencje nie zmieniają kwalifikacji do tradycyjnych wyników wyszukiwania Bing, która nadal podlega zwykłym wymaganiom crawlowania i indeksowania.
