Los archivos robots.txt que tu web debe tener para sumar puntos en su posicionamiento orgánico o SEO. Cuando se escucha por primera vez este concepto, da la impresión de ser muy difícil y técnico. Pero es todo lo contrario, lo comprobarás en este post.
Todos los buscadores tienen archivos robots.txt que se encargan de rastrear las páginas webs. Estos bots rastrean cada una de las páginas de tu web cada cierto tiempo para leer el contenido y copiarlo en su base de datos.
Con distintos comandos podemos, por ejemplo, prohibir a estos robots que entren en ciertas secciones de nuestra web.
A continuación te especificamos los pasos:
Puedes utilizar cualquier procesador texto que genere archivos con terminación .txt
Como somos muy buenos y sabemos que te gustan las cosas organizadas, aquí te dejamos un robots.txt válido para casi cualquier web que no tenga directrices concretas:
User-Agent: *
Disallow: /wp-
Allow: /wp-content/uploads/
Sitiemap: http://www.tuweb.com/sitemap_index.xml
La línea primera significa que tu robots.txt da permiso a todos los rastreadores de indexar tu página.
La línea segunda prohíbe el paso de los robots en cualquier página que comience con wp-. Esto se debe a que en wordpress, con esta dirección se entra a la zona privada de las páginas webs o blog.
La línea tercera da permiso de indexar los archivos que se encuentran en todas las páginas que empiezan por wp-content.
La cuarta línea especifica la dirección del sitemap, lo cual facilita el trabajo de los buscadores, y sí, has adivinado, esto se traduce en mejoras de tu posicionamiento.
Una vez terminado, guarda el archivo con el nombre robots.txt. No puede ser otro ni tener variaciones.
El último paso es subir este archivo .txt a la raíz del sitio web. Dependiendo del servicio de hosting que estés utilizando, el proceso será distinto.
¿Te han quedado dudas? ¡Contacta con nosotros! ¿Quieres seguir informándote? Estos son otros artículos que puedes leer:
El sitio web es como tu carta de presentación hacia el mundo. ¿Qué imagen estás…
En el mundo del comercio electrónico, la tecnología avanza a pasos agigantados, y para las…
¿Eres consciente de la importancia que tienen las reseñas y los comentarios online? En la…
El SEO y el marketing en Internet dependen en gran medida del contenido de calidad.…
¡Bienvenidos al mundo de TikTok! Si aún no conoces esta plataforma de redes sociales, estás…
Seguro que has oído hablar de la inteligencia artificial en los últimos meses. Se ha…