Consejos SEO para la correcta configuración del fichero robots.txt

El fichero robots.txt es el que permite que un buscador encuentre una página web. Los buscadores más importantes tienen una serie de robots que hacen esta labor. De forma automática, y en segundos, ofrecen resultados a la persona que ha tecleado una búsqueda. Como ya sabéis, configurar correctamente este fichero es imprescindible para aparecer en los buscadores y, por ello, para conseguir mejorar el posicionamiento seo de una web.

Creación del archivo robots.txt

Este tipo de archivo se puede crear con el notepad de Windows fácilmente. Lo importante es denominarlo robots.txt al subirlo al servidor FTP de una web. Al escribir el texto de este fichero se debe tener en cuenta que cada línea es una orden que recibirá el robot del buscador. Como es lógico, se podrá controlar qué partes se pueden visitar de una web de forma sencilla. El formato de las órdenes es el siguiente:

• User-agent: con esta orden se determina el buscador en el que se quiere aparecer. Si se prefiere que todos los robots encuentren la web, se debe teclear "*". En caso contrario, solo se debe redactar el que interese. En el caso de Googles, es Googlebot.

• Disallow: esta orden impide el acceso al directorio que se escoja. De nuevo se debe escribir "*" si se quiere bloquear todos los directorios. En cada línea se puede especificar un directorio distinto.

• Allow: es la orden opuesta a la anterior y funciona de la misma manera.

Mejorar la indexación

• Sitemap: es el mapa de la página web y resulta fundamental para mejorar la indexación. Está relacionada con el archivo sitemap.xml y no debe faltar en esta configuración.

• Crawl-delay: con este comando se podrá indicar al robot el tiempo, en segundos, que debe esperar entre cada distinta sección de su web. Idóneo para aligerar el funcionamiento del servidor.

 Crawler de Google, qué son y cómo funcionan

Un ejemplo de configuración correcta de robots.txt sería el siguiente:

User-agent: *
Disallow:
Crawl-delay: 20

En este caso, se ha optado por permitir que el robot entre en toda la página y por un espacio de veinte segundos de espera entre sección y sección.

Cómo validar el archivo robots.txt

Como hemos comprobado, la configuración es muy sencilla. Una vez redactado este texto debemos seguir los siguientes pasos:

• Probar que el formato es correcto en Search Console de Google. Esta aplicación permitirá comprobar que la página será encontrada por los buscadores que hayamos escogido.
• Subir el archivo a su servidor FTP y recordar siempre hacer la prueba anterior siempre que se modifique. En caso contrario, podría dejar de aparecer en los buscadores por un error fácilmente superable.

Con esta sencilla operación lograremos mejorar el Seo en apenas segundos y comenzar a aparecer en los buscadores más comunes. Un último consejo, todos los directorios que se introduzcan tras la orden Disallow podrían ser objeto de ataques informáticos. Hay que protegerlos con una contraseña htaccess para evitar problemas.

Este archivo tiene una enorme importancia, se redacta en unos minutos, pero ofrece resultados a largo plazo más que necesarios para mejorar la presencia en internet de la página web gracias al seo.

¿Está tu fichero robots.txt bien configurado?