Cloudflare comunicó el 15 de octubre de 2026 que una cohorte participante equivalente a cerca del 1 % de toda su red ayudó a OpenAI a descubrir e indexar cientos de millones de páginas web nuevas. La empresa presentó la cifra como un resultado preliminar del piloto de investigación que ambas anunciaron en julio.
Qué resultado comunicó Cloudflare
Según la actualización de Cloudflare, las señales de la cohorte ayudaron a OpenAI a encontrar e incorporar a su índice cientos de millones de páginas que antes desconocía. Cloudflare atribuye a OpenAI la evaluación y clasificación independiente de las páginas según su relevancia y utilidad.
Qué señales prueba el piloto
En el anuncio del 8 de julio de 2026, Cloudflare describió señales de actualidad del contenido, calidad del tráfico y cambios reales en las páginas. Su papel en el piloto es aportar señales de red para ayudar al descubrimiento; OpenAI contribuye con sus modelos, su sistema de búsqueda y respuestas y consultas reales de usuarios, según el anuncio de lanzamiento.
Cloudflare también explica que el sistema puede filtrar direcciones inexistentes, redirecciones y duplicados antes de que el rastreador descargue una página. Las señales de cambios buscan indicar cuándo merece la pena volver a visitarla. El descubrimiento de páginas nuevas puede aumentar inicialmente el rastreo mientras esas páginas se evalúan y se indexan.
Controles para quienes gestionan sitios web
El piloto de investigación es distinto de AI Crawl Control, el producto de Cloudflare para gestionar rastreadores. Su documentación oficial describe funciones para consultar la actividad de los rastreadores de IA, permitir o bloquear rastreadores concretos y supervisar el cumplimiento de robots.txt. Cloudflare indica que AI Crawl Control está disponible en todos sus planes y que pay-per-crawl está en beta privada.
Cloudflare afirma que una señal sobre una página no concede permiso para acceder a ella. También dice que el piloto utiliza metadatos web para búsqueda y descubrimiento, en lugar de compartir el contenido de las páginas para entrenar modelos.
