CAJA DE HERRAMIENTAS PARA WORDPRESS

15/02/201826/02/2018 Maleo 1 comentario robots.txt

Contenido

CAJA DE HERRAMIENTAS PARA WORDPRESS: IMPRESCINDIBLES …

Cuando ya estas en tu escritorio de WordPress, tu base de datos creada y optimizada, tus enlaces permanentes configurados, , dispuesto a redactar tus artículos….

Pero en nuestra caja de herramientas, se han quedado algunas que resultan imprescindibles para el buen posicionamiento y funcionamiento de tu blog en la red.

Son invisibles a simple vista pero no podemos olvidarnos de ellas.

Y además, debemos comprobar que estén bien configuradas y situadas en la carpeta raíz de nuestro alojamiento:

robots.txt
sitemap.xml
Google Search Console
.htacces
Texto alternativo en las imágenes

robots.txt

Este archivo que tenemos que crear nos sirve para decirle a Google que debe rastrear e indexar y que no; De esta manera no gastará cuota (lo que llaman presupuesto) rastreando páginas de tu sitio que no son importantes.

Supongamos que un motor de búsqueda está a punto de visitar un sitio web. Antes de que visite la página que es su objetivo, comprobará el archivo de robots.txt para recibir instrucciones, de que debe rastrear y que no.

¿Pero porque impedir que las arañas de Google rastreen algunas de nuestras páginas?

Por dos razones: Los robots tienen un límite de rastreo asignado. (Crawl rate limit) Este límite de rastreo subirá si encuentran página de interés y se reducirá si tus páginas les lanzan errores, contenido duplicado, o tiene un comportamiento lento.

De esa manera se evita que Google sobrecargue el servidor y no malgaste su cuota de rastreo con páginas poco importantes de tu blog o duplicadas ( los duplicados es lo que mas odia Google)

La otra razón que determina a las «arañas», es la demanda. Es decir, aunque no se alcance el limite , si no reciben peticiones para indexar tu sitio, también te olvidarán. Popularidad, es lo que te hace falta y a eso ayuda mucho los enlaces externos.

Todo esto quiere decir que los rastreadores se mantendrán rastreando en tu blog mientras sigan encontrando material de calidad si no lo encuentran pararan.

Ahora vamos al tajo: Gracias a este bloguero he encontrado el archivo ideal robots.txt:

http://jvalenzuela.es/robots-txt-para-wordpress/

Os recomiendo leer esta entrada ya que no basta con copiarlo, es mejor entender un poco de que se trata. Y como el bien dice : 
´Manejese con cuidado.
User-agent: *
Disallow: /wp-login
Disallow: /wp-admin
Disallow: //wp-includes/
Disallow: /*/feed/
Disallow: /*/trackback/
Disallow: /*/attachment/
Disallow: /author/
Disallow: /*/page/
Disallow: /*/feed/
Disallow: /tag/*/page/
Disallow: /tag/*/feed/
Disallow: /page/
Disallow: /comments/
Disallow: /xmlrpc.php
Disallow: /*?s=
Disallow: /*/*/*/feed.xml
Disallow: /?attachment_id*

Aunque este debe ser el archivo más completo que existe, tengo que deciros que lo mejor que podéis hacer es usar este archivo
primero y luego comprobar su validez en GOOGLE Search Console, esto es olbigado ya que os dirá si este archivo es correcto y esta 
funcionando correctamente o da errores. 

De hecho según https://neilpatel.com, el mejor archivo robots es el más simple.

Algo más bien como esto: