Los archivos robots.txt que tu web debe tener para sumar puntos en su posicionamiento orgánico o SEO. Cuando se escucha por primera vez este concepto, da la impresión de ser muy difícil y técnico. Pero es todo lo contrario, lo comprobarás en este post.
Todos los buscadores tienen archivos robots.txt que se encargan de rastrear las páginas webs. Estos bots rastrean cada una de las páginas de tu web cada cierto tiempo para leer el contenido y copiarlo en su base de datos.
Con distintos comandos podemos, por ejemplo, prohibir a estos robots que entren en ciertas secciones de nuestra web.
Creando tu archivo robots.txt
A continuación te especificamos los pasos:
1. Crear un archivo de texto en blanco
Puedes utilizar cualquier procesador texto que genere archivos con terminación .txt
Como somos muy buenos y sabemos que te gustan las cosas organizadas, aquí te dejamos un robots.txt válido para casi cualquier web que no tenga directrices concretas:
User-Agent: *
Disallow: /wp-
Allow: /wp-content/uploads/
Sitiemap: http://www.tuweb.com/sitemap_index.xml
La línea primera significa que tu robots.txt da permiso a todos los rastreadores de indexar tu página.
La línea segunda prohíbe el paso de los robots en cualquier página que comience con wp-. Esto se debe a que en wordpress, con esta dirección se entra a la zona privada de las páginas webs o blog.
La línea tercera da permiso de indexar los archivos que se encuentran en todas las páginas que empiezan por wp-content.
La cuarta línea especifica la dirección del sitemap, lo cual facilita el trabajo de los buscadores, y sí, has adivinado, esto se traduce en mejoras de tu posicionamiento.
2. Guardar tus archivos
Una vez terminado, guarda el archivo con el nombre robots.txt. No puede ser otro ni tener variaciones.
3. Subir el documento
El último paso es subir este archivo .txt a la raíz del sitio web. Dependiendo del servicio de hosting que estés utilizando, el proceso será distinto.
¿Te han quedado dudas? ¡Contacta con nosotros! ¿Quieres seguir informándote? Estos son otros artículos que puedes leer:
- Empieza a trabajar tu autoridad de dominio. Guía en 3 pasos
- Auditoría web: La revisión médica de tu página
- Velocidad de carga página web (artículo backlink)
