Cuil: violento al indexar

Según muchos administradores de sitios Web, el buscador que se auto propuso como el “Google killer” indexa los sitios de una manera poco amigable. El robot o “crawler” haría cosas como enviar demasiados pedidos en poco tiempo al servidor o intentar indexar por “fuerza bruta”, tratando de adivinar los nombres de las páginas. Este bombardeo habría creado problemas a servidores y usuarios por igual.

Hubo un administrador que dijo haber recibido hasta 70.000 visitas y 2GB de tráfico en el transcurso de un mes de parte del robot antes de bloquearlo. Lo peor es que este no fue un incidente aislado, lo que da a suponer que fue de hecho el robot de Cuil que lo hizo.

El ingeniero de operaciones James Akers respondió diciendo que “twiceler (el robot) está siendo desarrollado y que obedece lo que se le indique en robots.txt”. Luego agregó que “últimamente ciertos robots se han hecho pasar por twiceler” y recomendó a los encargados chequear las direcciones ip desde las que provino el tráfico. Finalmente dijo que podía agregar los sitios “ofendidos” a la lista de sitios que el robot no visitará nuevamente si así lo deseaban.

Administradores de sistemas molestos luego de revisar los registros, señalaron que “el robot indexa las páginas de una manera casi amateur, tratando de adivinar las direcciones de páginas sin enlaces internos y haciendo pedidos de muchas páginas al mismo tiempo” Esto sería, presumiblemente, para lograr inflar todavía más el número de “páginas indexadas” del que tanto hace alarde el buscador.

Poco después de su presentación, se acusó al buscador de manipular los resultados de las búsquedas, que en el mejor de los casos no eran muy buenos. La verdad es que de tener realmente tanta ventaja técnica y un plan sólido como dice tener el equipo del nuevo buscador, no vemos la necesidad de maniobras como esta. Esperemos se den cuenta, antes de que sea demasiado tarde, que no es buena idea hacer enojar a quienes producen el contenido que se proponen indexar.