Rastreadores web y las arañas de Google
¿Alguna vez te has preguntado cómo puede Google y otros buscadores ofrecerte tan rápido los resultados de búsqueda?
Los motores de búsqueda son la puerta de entrada de la información de fácil acceso, pero los rastreadores web, sus compañeros poco conocidos, desempeñan un papel crucial en la recopilación de contenidos en línea. Además, son esenciales para su estrategia de optimización de motores de búsqueda (SEO).
¿Qué es un rastreador web?
Los rastreadores web reciben muchos nombres, como arañas, robots y bots, y estos nombres descriptivos resumen lo que hacen: rastrean la web para indexar páginas para los motores de búsqueda. Los motores de búsqueda no saben por arte de magia qué sitios web existen en Internet. Los programas tienen que rastrearlos e indexarlos antes de poder ofrecer las páginas adecuadas para las palabras clave y las frases, o las palabras que la gente utiliza para encontrar una página útil.
Piensa en ello como si estuvieras comprando en una tienda nueva. Hay que recorrer los pasillos y mirar los productos antes de poder elegir lo que se necesita. Del mismo modo, los motores de búsqueda utilizan programas de rastreo web como sus ayudantes para buscar páginas en Internet antes de almacenar los datos de esa página para utilizarlos en futuras búsquedas.
Esta analogía también se aplica a la forma en que los rastreadores viajan de enlace en enlace en las páginas. No se puede ver lo que hay detrás de una lata de sopa en la estantería del supermercado hasta que no se ha levantado la lata de delante. Los rastreadores de los motores de búsqueda también necesitan un punto de partida -un enlace- antes de poder encontrar la siguiente página y el siguiente enlace.
¿Cómo funciona un rastreador web?
Los motores de búsqueda rastrean o visitan los sitios pasando entre los enlaces de las páginas. Sin embargo, si tiene un sitio web nuevo sin enlaces que conectan sus páginas con otras, puede pedir a los motores de búsqueda que rastreen su sitio enviando su URL en Google Search Console. Los rastreadores actúan como exploradores.
Siempre están buscando enlaces en las páginas y los anotan en su mapa una vez que comprenden sus características. Pero los rastreadores de sitios web sólo pueden examinar las páginas públicas de los sitios web, y las páginas privadas que no pueden rastrear se denominan “web oscura”. Los rastreadores web, mientras están en la página, recopilan información sobre la misma, como el texto y las metaetiquetas. A continuación, los rastreadores almacenan las páginas en el índice para que el algoritmo de Google pueda clasificarlas en función de las palabras que contengan para luego recuperarlas y clasificarlas para los usuarios.
¿Cuáles son algunos ejemplos de rastreadores web?
Todos los motores de búsqueda populares tienen un rastreador web, y los más grandes tienen varios rastreadores con enfoques específicos. Por ejemplo, Google tiene su rastreador principal, Googlebot, que abarca el rastreo para móviles y para ordenadores de sobremesa. Pero también hay varios bots adicionales para Google, como Googlebot Images , Googlebot Videos , Googlebot News y AdsBot.
Otros rastreadores web que puedes encontrar:
• DuckDuckBot para DuckDuckGo
• Yandex Bot para Yandex
• Baiduspider para Baidu
• Yahoo! Slurp para Yahoo!
Bing también tiene un rastreador web estándar llamado Bingbot y otros bots más específicos, como MSNBot-Media y BingPreview. Su principal rastreador solía ser MSNBot, que desde entonces ha pasado a un segundo plano para el rastreo estándar y ahora sólo cubre tareas de rastreo menores.
Por qué los rastreadores web son importantes para el SEO
El SEO, es decir, la mejora de su sitio para mejorar su clasificación, requiere que las páginas sean accesibles y legibles para los rastreadores web. El rastreo es la primera forma en que los motores de búsqueda se fijan en sus páginas, pero el rastreo regular les ayuda a mostrar los cambios que se hacen ya actualizar sobre la frescura de su contenido. Dado que el rastreo va más allá del inicio de cualquier campaña de SEO, puede considerar el comportamiento de los rastreadores web como una medida proactiva para ayudar a aparecer en los resultados de búsqueda y mejorar la experiencia del usuario.
Gestión del presupuesto de rastreo
El rastreo continuo de la web de las páginas recién publicadas la oportunidad de aparecer en las páginas de resultados de los motores de búsqueda (SERP). Sin embargo, Google y la mayoría de los motores de búsqueda no ofrecen un rastreo ilimitado.
Google tiene un presupuesto de rastreo que guía a sus robots:
• La frecuencia de rastreo
• Qué páginas escanear
• Cuánta presión del servidor hacer
Es bueno que exista un presupuesto de rastreo. De lo contrario, la actividad de los rastreadores y los visitantes podría sobrecargar tu sitio. Si quieres que tu sitio funcione sin problemas, puedes ajustar el rastreo de la web mediante el límite de la tasa de rastreo y la demanda de rastreo .
El límite de velocidad de rastreo supervisa la búsqueda en los sitios para que la velocidad de carga no se vea afectado ni se produzca un aumento de los errores. Puede modificarse en Google Search Console si tienes problemas con Googlebot. La demanda de rastreo es el nivel de interés que Google y sus usuarios tienen en un sitio. Por lo tanto, si aún no tienes un gran número de seguidores, Googlebot no rastreará tu sitio con tanta frecuencia como otros sitios más populares.
Bloqueos para los rastreadores web
Existen algunas formas de bloquear el acceso de los rastreadores web a tus páginas a propósito. No todas las páginas de su sitio deben aparecer en las SERPs, y estos bloqueos para rastreadores pueden proteger las páginas sensibles, redundantes o irrelevantes de aparecer para las palabras clave. El primer bloqueo es la etiqueta noindex, que impide que los motores de búsqueda indexen y clasifiquen una página determinada.archivos robots.txt, pero es útil para controlar el presupuesto de rastreo.
Enlaces de Referencia:
Guía para principiantes sobre optimización para motores de búsqueda de Google en PDF
Guía de Google para optimización de sitios web para dispositivos móviles
Directrices para webmasters de Google
Directrices para webmasters de Bing (en inglés)
Yahoo! Directrices de contenido de calidad de Yahoo! (en inglés)
Sitios de calidad baja según Yandex (en inglés)
Blog Central de Google para Webmasters (en Inglés)
Blog para Webmasters (en Español)