Em 15 de outubro de 2026, a Cloudflare informou que sinais de uma coorte participante equivalente a cerca de 1% de toda a sua rede ajudaram a OpenAI a descobrir e indexar centenas de milhões de páginas que ainda não eram conhecidas. A empresa classificou o número como um resultado inicial do piloto de pesquisa anunciado em julho. (Atualização da Cloudflare)
Que sinais o piloto usa
O piloto foi anunciado em 8 de julho de 2026 para investigar se informações da rede da Cloudflare poderiam ajudar mecanismos de busca com IA a descobrir e indexar conteúdo relevante da web. Entre os exemplos citados estavam a atualização do conteúdo, a qualidade do tráfego e mudanças reais nas páginas. No comunicado, a Cloudflare descreveu a OpenAI como responsável por contribuir com modelos avançados, um sistema de busca e respostas e consultas reais de usuários. (Anúncio do piloto)
A função dos sinais é ajudar a encontrar páginas. Segundo a Cloudflare, depois da descoberta, a OpenAI avalia e classifica cada página de forma independente, considerando relevância e utilidade. A Cloudflare também diz que filtros podem descartar URLs inexistentes, redirecionamentos e cópias duplicadas antes de o rastreador acessar uma página. Sinais de mudança, por sua vez, podem indicar quando vale a pena voltar a uma página; páginas recém-descobertas podem aumentar o rastreamento no início, enquanto são avaliadas e indexadas.
Controles para rastreadores são outro produto
O AI Crawl Control é uma ferramenta separada do piloto. A documentação da Cloudflare descreve recursos para acompanhar a atividade de rastreadores de IA, criar regras individuais para permiti-los ou bloqueá-los e monitorar o cumprimento do robots.txt. Segundo a empresa, o serviço está disponível em todos os planos; o pay-per-crawl está em beta privada. (Documentação do AI Crawl Control)
A Cloudflare afirma que os sinais do piloto usam metadados da web para busca e descoberta, em vez de compartilhar o conteúdo das páginas para treinamento de modelos. Também diz que um sinal sobre uma página não concede autorização para acessá-la. A empresa aponta como próxima etapa melhorar a seleção de páginas, acelerar os sinais de mudança e medir os resultados depois da descoberta.
