15 października 2026 r. Cloudflare poinformował, że sygnały z uczestniczącej w pilocie grupy, reprezentującej około 1% całej jego sieci, pomogły OpenAI odkryć i zaindeksować setki milionów wcześniej nieznanych stron. Firma przedstawiła ten rezultat jako wstępny wynik wspólnego pilota badawczego, opisanego w październikowej aktualizacji Cloudflare.
Jakie sygnały miał badać pilot?
Pilot, ogłoszony przez Cloudflare 8 lipca 2026 r., miał sprawdzić, czy informacje z sieci mogą pomóc wyszukiwarkom AI sprawniej odkrywać i indeksować przydatne strony. Cloudflare wymienił jako przykłady aktualność treści, jakość ruchu i rzeczywiste zmiany na stronach. W lipcowym komunikacie opisał wkład OpenAI jako modele, system wyszukiwania i odpowiadania oraz rzeczywiste zapytania użytkowników.
Według Cloudflare jego sygnały pomagają odkrywać strony, a OpenAI po ich znalezieniu samodzielnie ocenia je i szereguje pod kątem trafności i użyteczności. Cloudflare opisuje też filtrowanie nieistniejących adresów URL, przekierowań i duplikatów przed pobraniem strony przez robota. Sygnały zmian mają wskazywać, kiedy warto ponownie odwiedzić stronę; odkrywanie nowych stron może natomiast początkowo zwiększyć liczbę pobrań podczas ich oceny i indeksowania. Firma testuje również sygnały mogące wskazywać szkodliwe podstrony, na przykład przejęte w serwisie, który poza tym działa prawidłowo.
Osobne narzędzia dla administratorów witryn
Cloudflare opisuje AI Crawl Control jako odrębne narzędzie do zarządzania robotami AI. Według dokumentacji produktu usługa jest dostępna we wszystkich planach i oferuje podgląd aktywności robotów, osobne reguły zezwalające na działanie poszczególnych robotów lub je blokujące oraz monitorowanie zgodności z plikiem robots.txt. Funkcja pay-per-crawl ma status prywatnej wersji beta.
Cloudflare twierdzi, że sygnał o stronie nie stanowi zgody na dostęp do niej. Firma opisuje wykorzystanie metadanych sieciowych do wyszukiwania i odkrywania stron; ich treści nie są udostępniane do trenowania modeli.
