Cloudflare meldde op 15 oktober 2026 dat signalen van een deelnemende groep ter grootte van ongeveer 1% van zijn totale netwerk OpenAI hielpen honderden miljoenen nieuwe webpagina’s te ontdekken en te indexeren. Cloudflare presenteerde dit als een voorlopig resultaat van de onderzoekspilot.De update van Cloudflare beschrijft ook hoe de bedrijven de taken verdelen: Cloudflare helpt pagina’s opsporen, terwijl OpenAI ze zelf beoordeelt en rangschikt.
Welke signalen de pilot onderzocht
Cloudflare kondigde de pilot met OpenAI op 8 juli 2026 aan. Het onderzoek moest uitwijzen of netwerksignalen — zoals de actualiteit van content, verkeerskwaliteit en veranderingen op een pagina — AI-zoekmachines kunnen helpen relevante webpagina’s te vinden en te indexeren. OpenAI bracht volgens Cloudflares aankondiging onder meer zijn zoek- en antwoordsysteem en echte gebruikersvragen in.De aankondiging van Cloudflare
Een gevonden pagina is nog niet automatisch een relevant zoekresultaat. Cloudflare zegt dat OpenAI de ontdekte pagina’s zelfstandig beoordeelt en rangschikt op relevantie en bruikbaarheid. Cloudflare beschreef daarnaast filters voor niet-bestaande URL’s, omleidingen en dubbele pagina’s, zodat een crawler die pagina’s niet eerst hoeft op te halen. Het bedrijf testte ook signalen voor mogelijk schadelijke pagina’s, bijvoorbeeld een gehackte pagina op een verder legitieme website.
Veranderingssignalen moeten helpen bepalen wanneer een pagina opnieuw bezocht moet worden, in plaats van ongewijzigde pagina’s telkens opnieuw op te halen. Nieuwe ontdekkingen kunnen in eerste instantie juist méér crawlverkeer opleveren terwijl pagina’s worden beoordeeld en geïndexeerd. Cloudflare noemde betere paginaselectie, snellere en betrouwbaardere veranderingssignalen en het meten van effecten na ontdekking als werk voor een volgende fase.
Crawlerbeheer staat los van de pilot
Websitebeheerders kunnen met Cloudflares afzonderlijke product AI Crawl Control AI-crawlers volgen, regels per crawler instellen om toegang toe te staan of te blokkeren, en controleren of crawlers de regels in robots.txt naleven. Cloudflare zegt dat AI Crawl Control op alle abonnementen beschikbaar is; pay-per-crawl bevindt zich volgens de productdocumentatie in een private bèta.De documentatie van AI Crawl Control
Cloudflare zegt dat de pilot webmetadata gebruikt voor zoeken en ontdekken, niet pagina-inhoud voor modeltraining. Een signaal over een pagina geeft een crawler volgens het bedrijf geen toestemming om die pagina te bezoeken.
