Hace poco a salido a la luz como poder indicar a los robots de búsqueda donde se encuentra nuestro sitemap dentro de nuestra web, esto y otras muchas cosas las podemos indicar dentro del fichero denominado robots.txt
Para todos aquellos que no sepan que es lo que ha de contener este fichero existe esta herramienta que nos permite crearlo de manera facil y sencilla.
De momento no tiene soporte para todas las opciones que pudiera contener un fichero de este tipo pero poco a poco irá añadiéndolas.
[...] Matt Cutts vuelve con otro vídeo en el que nos explicará algunas ventajas y trucos para implementar el uso del fichero robots.txt [...]
Hola,
Podéis contestarme a esta pregunta por mail…
El uso del fichero robots.txt permite las opciones de:
Impedir acceso a robots determinados, listar los enlaces entrantes y prohibir zonas.
No elimina el contenido duplicado ¿verdad?
Espero vuestros comentarios
No, para eliminar el contenido duplicado o bien utilizas redirecciones 301 o el atributo rel canonical
HESTO ESTA DE LOCOS