Il 15 ottobre 2026 Cloudflare ha riferito che i segnali di una coorte partecipante pari a circa l’1% della sua rete hanno aiutato OpenAI a scoprire e indicizzare centinaia di milioni di pagine web prima sconosciute. Cloudflare ha presentato la cifra come un risultato preliminare del pilota. Nel suo aggiornamento, l’azienda attribuisce a OpenAI la valutazione e il ranking delle pagine scoperte.
Quali segnali usa il pilota
Cloudflare aveva annunciato il progetto con OpenAI l’8 luglio 2026 per verificare se i dati ricavati dalla propria rete potessero aiutare i motori di ricerca basati sull’IA a trovare e indicizzare meglio le pagine. Tra gli esempi citati figuravano l’aggiornamento dei contenuti, la qualità del traffico e le modifiche effettive alle pagine. OpenAI avrebbe contribuito con modelli, un sistema di ricerca e risposta e query reali degli utenti, secondo l’annuncio di Cloudflare.
Cloudflare descrive un ruolo di supporto alla scoperta: i suoi segnali possono aiutare a individuare le pagine, mentre OpenAI ne valuta e ordina autonomamente la pertinenza e l’utilità. L’azienda riferisce anche di filtri per scartare URL inesistenti, reindirizzamenti e duplicati prima che il crawler visiti una pagina. I segnali sulle modifiche dovrebbero invece aiutare a capire quando vale la pena tornare su una pagina. Cloudflare sta inoltre sperimentando segnali per individuare pagine potenzialmente dannose, come una pagina compromessa su un sito legittimo.
I controlli per i gestori di siti
Il pilota di ricerca è distinto da AI Crawl Control, lo strumento Cloudflare che permette di monitorare l’attività dei crawler basati sull’IA, impostare regole per consentire o bloccare singoli crawler e controllare il rispetto di robots.txt. La documentazione di Cloudflare indica che il servizio è disponibile su tutti i piani; pay-per-crawl è invece in beta privata. La documentazione ufficiale descrive funzioni di gestione dei crawler, non il risultato del pilota.
Cloudflare afferma che un segnale relativo a una pagina non autorizza di per sé ad accedervi e che il pilota usa metadati Web per ricerca e scoperta, anziché condividere i contenuti delle pagine per addestrare modelli. L’azienda avverte anche che trovare nuove pagine può aumentare inizialmente il crawling, mentre vengono valutate e indicizzate. Per la fase successiva, Cloudflare indica tra gli obiettivi la misurazione dei risultati dopo la scoperta.
