• 16
  Jul

• Etiquetas: posicionamiento

Los programas encargados de rastrear la información de las webs para indexar contenido en los buscadores son los denominados robots, también conocidos con el nombre de arañas (spiders). Es importante que les presentemos adecuadamente nuestro contenido para obtener un buen posicionamiento.

Pero hay veces que en los que nos puede interesar que no se indexe un determinado fichero, carpeta o url.

Por ejemplo, si no quieres que un agregador de noticias incluya las de tu web debes indicarlo en robots.txt, puesto que por defecto las arañas visitan e indexan todo. Las principales ventajas de usar este archivo son:

• Denegar el acceso a nuestro sitio a determinados robots. Esto que puede parecer extraño no lo es si esos robots en vez de beneficiarnos lo que hacen es el efecto contrario.
• Mejorar el posicionamiento de nuestro sitio indicando a los spiders los sitios concretos que queremos indexar.
• Reducir la transferencia consumida en nuestro servidor, ya que al poder bloquear a ciertos robots o indicar aquellos sitios que no queremos que se indexen, estamos reduciendo el número de peticiones que se realiza a nuestro sitio.
• Impedir que se indexen archivos personales, archivos que pueden ser fotos, documentos, vídeos…
• Eliminar contenido duplicado. Con esto estamos impidiendo que los buscadores nos penalicen por encontrar en nuestro sitio distintas urls con la misma información.

Entérate también sobre estos temas relacionados:

Indexa tu contenido wordpress sin esperar por los robots ¿Está teniendo el sitio web de su institución alguna utilidad? Proteje tu wordpress desde el archivo .htaccess Códigos que puedes agregar al archivo .htaccess para acelerar, optimizar y asegurar tu WordPress Meta Tags imprescindibles a la hora de diseñar una web