¿Sabes que es el Craw Delay y el efecto que tiene en las webs?

En la actualidad, SEO va mucho más allá de la optimización de contenido, la correcta elección de palabras clave correctas o la obtención de vínculos de retroceso hacia nuestro sitio web. Los factores de posicionamiento SEO cambian cada año y, por lo tanto, hay que esforzarse mucho más para obtener una buena posición en el ranking de los buscadores. En este sentido, es vital familiarizarse con cada nueva terminología que emerge en el universo SEO. Hoy nos centramos en el término craw delay.

Qué es Craw Delay

Para entender el concepto es necesario comprender qué es un archivo robots.txt y cuál es su labor. Nos referimos a un archivo de texto simple que se encuentra dentro del directorio raíz de nuestro sitio web. Su principal cometido es informar a los bots de los motores de búsqueda sobre qué páginas rastrear y cuáles ignorar.

Si bien no es exactamente el principio de todo, es una herramienta bastante poderosa, ya que nos permite presentar nuestro sitio web a los buscadores de la forma en que deseamos que lo vean. Además, los motores de búsqueda son unos jueces muy duros y exigentes, por lo que es esencial causar la mejor impresión. De acuerdo con esto, utilizando correctamente robot.txt podremos mejorar nuestra frecuencia de rastreo y, por ende, beneficiaremos a nuestro SEO.

Una vez entendido esto, nos toca explicar en qué consiste el craw delay. Hablamos de un parámetro (dentro del archivo robot.txt) que se utiliza para especificar y establecer la cantidad de segundos que el robot debe esperar entre cada solicitud sucesiva (es decir, la tasa límite). En otras palabras, precisa la rapidez con la que un bot rastrea nuestro sitio web. Ejemplo de robots.txt con el parámetro Crawl-delay:

- User-agent: *

- Crawl delay: 10

Aquí, le decimos a los robots que sigan y comprendan el crawl delay para espaciar sus consultas en 10 segundos.

Diferencia con el crawl budget

Google envía sus bots llamados Googlebot o Google's Spiders para rastrear nuestras páginas web e indexar las palabras y el contenido. Una vez que se realiza el rastreo, estos resultados se colocan en el índice de Google. Por lo tanto, es importante que Google encuentre fácilmente todas nuestras páginas web. De este modo, y para facilitar que nuestras URL sean localizadas con facilidad por Googlebot, el sitemap es una necesidad vital.

Si nuestro sitio tiene pocas URL, el motor de búsqueda lo rastreará fácilmente. Pero, si presenta demasiadas es factible que el buscadar no las pueda rastrear todas. De esta manera, la prioridad de qué rastrear, cuándo rastrear y cuánto rastrear se vuelve importante. Es aquí donde entra en juego el crawl budget.

El crawl budget o presupuesto de rastreo se centra en dos aspectos esenciales: la tasa de rastreo y la demanda de rastreo. Teniendo en cuenta la tasa de rastreo y la demanda de rastreo de un sitio web, podemos definir el presupuesto de rastreo como la cantidad de páginas web o URL que Googlebot puede o desea rastrear desde su sitio web.

Así, la principal diferencia con el término que nos ocupa es esa: mientras que el crawl delay se basa en el tiempo que dura el rastreo, el crawl budget lo hace en la cantidad de páginas web que Googlebot puede rastrear.

Asimismo, es fundamental que tengamos en cuenta que el crawl delay de Googlebot no se puede establecer mediante una directiva en Robots.txt ya que este parámetro se ignora.

Ojo: Googlebot no admite el crawl delay

Como decimos, Google no es compatible con la directiva. Sin embargo, admite la definición de una tasa de rastreo en su consola de búsqueda. Simplemente, debemos seguir estos pasos:

1. Iniciar sesión en la consola de búsqueda de Google.

2. Elegir el sitio web para el que deseamos definir la tasa de rastreo.

3. Hacer clic en el icono de engranaje en la parte superior derecha y seleccionar <<configuración del sitio>>.

4. Finalmente, veremos una opción llamada <<velocidad de rastreo>> con un control deslizante donde podemos establecer la frecuencia de rastreo preferida.

Por qué usar una configuración Crawl Delay

El principal objetivo de este parámetro es evitar la sobrecarga del servidor web causada por las frecuentes solicitudes de los robots, por lo que es útil para aquellos sitios que tengan un tamaño grande que publiquen mucho contenido y, además, con frecuencia.

YahooSlurp o MSNBot son compatibles con esta directiva de rastreo (como hemos señalado anteriormente otros bots lo ignoran). Por este motivo, se recomienda asignar la directiva a bots específicos y no como regla general:

Cómo hacerlo:

- User-agent: MSNBot

- Crawl delay: 5

Cómo NO hacerlo:

- User-agent: *

- Crawl delay: 5

En definitiva, es posible emplear este parámetro para tratar de beneficiar a nuestro posicionamiento. Pero hay que tener cuidado con el tiempo que establecemos, ya que si nos excedemos podemos limitar la indexación de nuestras páginas.

¿Tú ya lo has utilizado? ¡Cuéntanos la experiencia! 👇