Free Robots.txt generator es una herramienta online que nos puede facilitar la tarea de crear este fichero para nuestro sitio web. Para aquellos que no lo sepan, el fichero robots.txt es basicamente un fichero de texto, que colocado en el directorio raíz de un sitio especifica que áreas se permite que sean visitadas e indexadas por los robots de los buscadores y que robots tienen permitido o denegado el acceso al sitio.

http://Www.mcanerin.com/search-engine/robots-txt.htm