Cloudflare meldete am 15. Oktober 2026, dass eine teilnehmende Gruppe, die rund 1 % seines gesamten Netzwerks repräsentierte, OpenAI geholfen habe, Hunderte Millionen zuvor unbekannte Webseiten zu entdecken und zu indexieren. Das Unternehmen bezeichnete dies als frühes Ergebnis des Forschungspiloten. (Cloudflares Update vom 15. Oktober 2026)
Welche Signale der Pilot untersuchte
Bei der Ankündigung des Forschungspiloten am 8. Juli 2026 nannte Cloudflare Aktualität von Inhalten, Traffic-Qualität und tatsächliche Seitenänderungen als mögliche Signale. Die Idee: Netzwerkinformationen könnten dabei helfen, passende Webseiten für die Suche zu entdecken. OpenAI brachte laut der Ankündigung von Cloudflare unter anderem sein Such- und Antwortsystem sowie echte Nutzeranfragen ein.
Cloudflare zufolge unterstützen seine Signale die Entdeckung; OpenAI bewertet und sortiert die gefundenen Seiten anschließend selbst nach Relevanz und Nützlichkeit. Cloudflare beschreibt außerdem Filter, die nicht existierende URLs, Weiterleitungen und doppelte Seiten aussortieren können, bevor ein Crawler sie abruft. Änderungssignale sollen anzeigen, wann sich ein erneuter Besuch lohnt.
Welche Kontrollen Website-Betreiber nutzen können
Das separate Produkt AI Crawl Control richtet sich an Website-Betreiber. Laut der Cloudflare-Dokumentation bietet es Einblick in Aktivitäten von KI-Crawlern, Regeln zum individuellen Zulassen oder Blockieren einzelner Crawler und eine Überwachung der robots.txt-Konformität. Cloudflare bezeichnet AI Crawl Control als auf allen Tarifen verfügbar; Pay-per-crawl befindet sich in einer privaten Beta.
Seitensignale und Zugriff
Cloudflare sagt, ein Signal zu einer Seite erteile keine Erlaubnis, sie abzurufen. Der Forschungspilot nutze Webmetadaten für Suche und Entdeckung; Seiteninhalte würden dafür nicht zum Modelltraining weitergegeben.
Neu entdeckte Seiten können zunächst zusätzliche Crawling-Aktivität auslösen, während OpenAI sie bewertet und indexiert.
