Cómo optimizar Googlebot para el SEO

Muchas personas conocen los fundamentos del posicionamiento SEO pero pocas conocen la importancia de la optimización del robot de Google, es decir, cómo optimizar Googlebot. Esto añade un nivel más de profundidad.

Mientras que el posicionamiento SEO se centra en el proceso de optimización de las consultas del usuario, la optimización de Googlebot se centra en cómo el rastreador de Google accede al sitio web. La premisa que debemos tener en cuenta es que la «rastreabilidad» de un sitio es el primer paso, básico y fundamental, para asegurar la «buscabilidad» del mismo.

Optimizar Googlebot para el SEO: a tener en cuenta

¿Qué es Googlebot?

Googlebot es el robot de Google que rastrea la web y crea un índice. También se le conoce como araña. El robot rastrea todas y cada una de las páginas a las que se le permite el acceso y las añade a un índice donde pueden ser accedidas y devueltas como resultado a las consultas de búsqueda de los usuarios.

Entender cómo el robot rastrea un sitio web es crucial para entender cómo optimizar Googlebot para mejorar el SEO. Hay que tener en cuenta:

1. Googlebot dedica más tiempo rastreando sitios web con PageRank significativo. A la cantidad de tiempo que Googlebot  da a un sitio se le llama «presupuesto de rastreo» (crawl budget). Cuanto mayor es el PageRank de un sitio, mayor presupuesto de rastreo tiene.
2. Googlebot está rastreando continuamente los sitios web. En el artículo de Google mencionado antes se dice: «el robot de Google no suele acceder a la mayoría de los sitios más de una vez cada pocos segundos». En el mundo del posicionamiento SEO se discute mucho sobre la «tasa de rastreo» y cómo conseguir que Google re-rastree un sitio para un posicionamiento óptimo. Pero no hay que confundirse: la «tasa de rastreo» de Google se refiere a la velocidad de las solicitudes del robot de Google, no a la recurrencia del rastreo del sitio.
3. Googlebot accede primero al archivo robots.txt del sitio web para buscar las reglas de rastreo. Todas las páginas desautorizadas no se rastrearán ni indexarán.
4. Googlebot usa el archivo sitemap.xml para descubrir todas las áreas de un sitio que deben ser rastreadas e indexadas. Como hay muchas formas de construir y organizar un sitio web, puede ser que Googlebot no rastree automáticamente cada página o sección. Un sitemap construido con precisión puede ser beneficioso para avisar a Google de: contenido dinámico, página de bajo ranking, vastos archivos de contenido con poco enlazado interno, metadatos de videos, imágenes, móvil y noticias.

Cinco principios de cómo optimizar Googlebot para el SEO

La optimización de Googlebot viene antes del posicionamiento SEO: el sitio web debe ser indexado fácilmente y con precisión. Vamos a ver cómo hacer esto:

1. Cuidado con los elementos que incluimos en el sitio

Googlebot no rastrea JavaScript, frames, DHTML, Flash y Ajax tan bien como HTML.

Es mejor no usar Ajax/JavaScript para las partes importantes del sitio web.

Si hay elementos del sitio que no podemos ver en un navegador de texto, las arañas pueden tener problemas a la hora de rastrear.

2. Cuidado con el archivo robots.txt

El archivo robots.txt sirve como directiva para Googlebot. Como Googlebot tiene un «presupuesto de rastreo» para todas las páginas del sitio, debemos decirle donde gastar y donde no, ese «presupuesto».

Cuanto menos tiempo gaste Google en secciones innecesarias del sitio, más puede rastrear y devolver las secciones importantes.

No debemos bloquear páginas o secciones del sitio que no deberían bloquearse. El modo por defecto de Googlebot es rastrear e indexar todo. Robots.txt le dice a Googlebot donde no debe ir. Debemos dejar que el rastreador se pierda en cualquier cosas que deseemos que forme parte del índice de Google.

3. Crear contenido fresco

El contenido que se rastrea con más frecuencia probablemente tendrá más tráfico. Aunque el PageRank es probablemente el factor determinante en la frecuencia de rastreo, es probable que en el futuro pierda importancia con respecto al factor de frescura de páginas de similar PageRank.

Es esencial para la optimización de Googlebot conseguir que las páginas de bajo PageRank se rastreen tan a menudo como sea posible. Como escribió AJ Kohn, «Ganarás si consigues que tus páginas de bajo PageRank se rastrean con más frecuencia que las de tus competidores«.

4. Usar el enlazado interno

El enlazado interno es como un mapa que le dice a Googlebot como seguir y rastrear el sitio web. Cuanto más integrada y bien unida sea la estructura de enlazado interno, mejor rastreará el sitio Googlebot.

Una forma precisa de analizar la estructura de enlazado interno es en Google Search Console. Si las páginas del comienzo de la lista son páginas de contenido que queremos que salgan en las SERPs, entonces lo estamos haciendo bien. Las páginas más enlazadas deberían ser las páginas más importantes.

5. Crear un sitemap.xml

El sitemap es un mensaje claro para decirle a Googlebot como acceder al sitio. Como su nombre sugiere, sirve como un mapa que Googlebot sigue. No todos los sitios se pueden rastrear fácilmente. Puede haber factores que hagan «confundir» a Googlebot. Un sitemap asegura que todas las áreas que deben ser rastreadas, lo son.

Analizando el rendimiento de Googlebot en un sitio

Podemos realizar esto y obtener información muy útil en Google Search Console, en la sección Rastreo.

Errores de rastreo

Comprobar los errores de rastreo es el primer paso para la optimización de Googlebot. Aquí podemos encontrar páginas que el robot se esperaba encontrar basándose en el último índice.

Algunos sitios tienen errores pero son pocos o insignificantes y no afectan al tráfico o al posicionamiento. No obstante, con el tiempo, pueden relacionarse con un decremento del tráfico.

Estadísticas de rastreo

Google nos dice cuántas páginas y kilobytes analiza el robot cada día. Una campaña proactiva de marketing de contenidos que saca contenido fresco regularmente tendrá una gráfica alcista.

Explorar como Google

Permite consultar cómo procesa Google las páginas del sitio web.

Probador de robots.txt

Permite editar el archivo robots.txt y comprobar que no tenga errores.

Sitemaps

Permite añadir un sitemap, probar un sitemap o descubrir el tipo de contenido que está siendo indexado en el sitemap.

Parámetros de URL

Dependiendo de la cantidad de contenido duplicado causada por URLs dinámicas, podemos tener algunos problemas en los índices de parámetros de URL. La sección Parámetros de URL nos permite configurar la forma en que Google rastrea e indexa un sitio con parámetros de URL. Por defecto, todas las páginas se rastrean de acuerdo con la forma en que el robot de Google decide.

Conclusiones

Si queremos mejorar el posicionamiento de un sitio web, debemos invertir tiempo y esfuerzo en cómo optimizar Googlebot para el mismo. Es algo que no podemos descuidar si no queremos perder tráfico. Hay que tener en cuenta que antes de que un sitio sea indexado y devuelto como resultado en las SERPs, primero debe ser rastreado 😉 .

Este artículo es una adaptación libre del publicado en Kissmetrics escrito por Neil Patel: Beyond SEO: Googlebot Optimization

→ Artículo actualizado en noviembre 2021 ←