En Webmaster World debido a los problemas de ancho de banda que suponen los bots de los buscadores han decidido han decidido deshabilitarlos todos en su robots.txt.

Medida extrema sin duda pero con parte de razón. Algunos spiders sobrecargan la cpu del servidor y consumen gran parte del tráfico mensual que tenemos contratado a nuestro proveedor de alojamiento. Esta claro que deshabilitar Google es un suicidio promocional pero que ocurre con robots como Alexa, Ask Jeeves o incluso msn. ¿vale la pena? Yo hasta ahora no había tomado medidas restrictivas porque no tenía tráfico como para tener problemas, pero visto el incremento de visitas del blog y del tráfico que se está generando (3 Gb en 20 días) no descarto impedir el paso a determinados bots.