robots.txt

Los archivos robots.txt que tu web debe tener para sumar puntos en su posicionamiento orgánico o SEO. Cuando se escucha por primera vez este concepto, da la impresión de ser muy difícil y técnico. Pero es todo lo contrario, lo comprobarás en este post. 

Todos los buscadores tienen archivos robots.txt que se encargan de rastrear las páginas webs. Estos bots rastrean cada una de las páginas de tu web cada cierto tiempo para leer el contenido y copiarlo en su base de datos.

Con distintos comandos podemos, por ejemplo, prohibir a estos robots que entren en ciertas secciones de nuestra web. 

Creando tu archivo robots.txt

A continuación te especificamos los pasos:

1. Crear un archivo de texto en blanco. Puedes utilizar cualquier procesador texto que genere archivos con terminación .txt

Como somos muy buenos y sabemos que te gustan las cosas organizadas, aquí te dejamos un robots.txt válido para casi cualquier web que no tenga directrices concretas:

User-Agent: *

Disallow: /wp-

Allow: /wp-content/uploads/

Sitiemap: http://www.tuweb.com/sitemap_index.xml

La línea primera significa que tu robots.txt da permiso a todos los rastreadores de indexar tu página. 

La línea segunda prohíbe el paso de los robots en cualquier página que comience con wp-. Esto se debe a que en wordpress, con esta dirección se entra a la zona privada de las páginas webs o blog. 

La línea tercera  da permiso de indexar los archivos que se encuentran en todas las páginas que empiezan por wp-content. 

La cuarta línea especifica la dirección del sitemap, lo cual facilita el trabajo de los buscadores, y sí, has adivinado, esto se traduce en mejoras de tu posicionamiento. 

2. Guardar tu archivo.  Una vez terminado, guarda el archivo con el nombre robots.txt. No puede ser otro ni tener variaciones.

3. Subir el documento. El último paso es subir este archivo .txt a la raíz del sitio web. Dependiendo del servicio de hosting que estés utilizando, el proceso será distinto.

¿Te han quedado dudas? ¡Contacta con nosotros!


Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Elige el día y la hora que más te convenga y un/a especialista de nuestro equipo se pondrá en contacto contigo

A un click de conseguir tu ebook gratis