Hoy hablamos de un archivo conocido por todos, el Sitemap. Un archivo que la mayoría de proyectos en Internet están usando y muy pocos los usan de forma correcta.

Ya tenía ganas de hablar de esto y ha llegado el momento, ya que este archivo la mayoría de veces pasa desapercibido y se genera automáticamente con un plugin o modulo y no se vuelve a tocar nunca. Y la verdad que tiene muchos usos que a lo largo de este artículo te quiero contar.

En este artículo quiero exponer algunas aspectos que nos encontramos en nuestro día a día con los Sitemaps y las soluciones por las que optamos dependiendo del proyecto, volumen y estado del mismo.

¿Qué es el Sitemap?

El Sitemap es un archivo que sirve para indicarle a cualquier motor de búsqueda (en este caso a Google) las URLs de un proyecto Web, para que los robots rastreen de forma más eficiente dicho proyecto. Además el sitemap también te asegura que los robots recogerán esa información antes, el uso que hagan de la misma ya depende de otros factores que contaré a lo largo de este artículo.

Formatos en los que podemos generar un Sitemap.

• XML: Este es el más usado y el que te recomiendo usar. La mayoría de plugins, modulos y extensiones que usan los gestores de contenidos como WordPress, Prestashop o magento usan este formato.
• RSS: Si tienes un feed generado que automatiza la subida de nuevo contenido, puedes incluirlo como sitemap, pero ojo con esto porque la mayoría de feeds se olvidan de muchas páginas antiguas que no se han generado automaticamente.
• Documento de Texto: También puedes incluir archivos .txt para la generación de tu Sitemap. Eso sí, debes incluir una URL por linea.
• Google Sites: Otra forma de crear tu Sitemap que No te recomiendo, pero que Google permite su uso, aquí te dejo toda la info.

Cabe destacar que también puedes crear sitemaps para imágenes, vídeos o móviles, pero esto es algo que cada día veo más implementado en los proyectos que me encuentro.

IMPORTANTE: Hasta aquí solo hemos dado un repaso sobre que es un sitemap y que formatos puedes usar. Nada que no puedas encontrar en las directrices de Google como siempre comento (ahí esta todo, y no en otros sitios 😉 ).

Si no conocías todos sus usos, he dejado varios enlaces a la documentación oficial de Google. Ahhhh! Recuerda que no puedes generar Sitemaps de más de 50.000 URLs, aunque yo te recomiendo que no pases de 40.000 por mi experiencia. Cuando tienes muchas miles de URLs conviene que realices un indice de Sitemaps.

Algo que debes tener en cuenta que en la mayoría de casos no se tiene son los siguientes aspectos:

• No incluir en el Sitemap URLs con Noindex
• No incluir en el Sitemap URLs que no respondan un código 200
• No incluir en el Sitemap URLs NO canonicas

ESTAS SON LAS 3 REGLAS DE ORO DEL SITEMAP 😉

IMPORTANTE: El sitemap no sirve para indexar URLs, cierto es que la generación de Sitemaps de forma adecuada ayudan al rastreo, pero no sirven para indexar, y mucho menos este es un archivo obligatorio. Cualquier web pequeña-mediana no necesita un sitemap para que Google indexe sus URLs, simplemente con un buen enlazado interno bastaría.

Aquí te dejo un caso de éxito, para que amplíes información y veas como un buen uso de los Sitemaps sirven para mejorar el rastreo, la indexación y subir el tráfico: https://moz.com/blog/multiple-xml-sitemaps-increased-indexation-and-traffic

Errores a la hora de generar Sitemaps

A lo largo de los últimos años auditando webs y trabajando con diferentes proyectos me he encontrado de todo con el tema de los Sitemaps, pero lo que más destaca por encima de cualquier cosa es lo siguiente:

• Incluir URLs que responden códigos 301.
• Incluir URLs que responden 404.
• Incluir URLs que tienen el canonical apuntando hacía otra URL.
• Incluir URLs bloqueadas por el Robots.txt (esta es la mejor xD).

Para comprobar que en un proyecto no te está pasando nada de esto es muy sencillo, solo necesitas el Sitemap del proyecto y Screaming Frog (Por si aún no estás puesto con esta herramienta, aquí te dejo una completa guía de Screaming Frog). Te explico el proceso en varios pasos:

PASO 1: Descarga el archivo Sitemap para poder trabajar con el documento.

PASO 2: Inicia Screaming Frog >> Mode>> List >> Upload List >> from a file >> selecciona Sitemap xml. Con esto conseguirás subir tu Sitemap para analizarlo en profundidad y sacar los errores que pueda generar.

PASO 3: Identifica los errores y genera un Sitemap correcto. Con esto conseguiras una mejora de rastreo importante. Dependiendo del estado de tu Sitemap esta mejora de rastreo puede hacer que tu proyecto empiece a mejorar posiciones.

¿Cuando debes realizar esta comprobación?

En general voy a enumerar algunas situaciones donde esta comprobación es importantísima, así como la generación de un nuevo sitemap que haga que el robot de google pase de manera más inteligente por tu Site:

• Si has implementado el famoso HTTPS en tu página, entonces es un momento crucial para comprobar tu Sitemap y verás la cantidad de 3xx que te vas a encontrar.
• Si has realizado una migración o cambios en URLs recientemente. Te encontrarás con sorpresas tipo: 301 y 404 xD.
• Si te gusta mucho jugar con los Noindex o estas usando un plugin para generar tu Sitemap, seguramente te encuentres URLs con noindex que estás incluyendo en el Sitemap.
• Si te gusta mucho el uso de los «canonical» seguramente te encuentres sorpresas desagradables en tu Sitemap.

2 Usos avanzados del Sitemap

El sitemap tiene diferentes usos. Aquí te voy a explicar en que situaciones los uso y el porque de cada una de estas acciones que realizo:

1. Acelerar la desindexación de un gran número de URLs gracias al Sitemap

¡Empezamos con el primer escenario común! Tenemos una cantidad de URLs innecesarias que queremos desindexar por el motivo que sea (no quiero entrar en detalles sino esto sería eterno, en siguientes posts abordaremos el porque necesitamos muchas veces desindexar URLs). Imaginate que son cientos o miles. No puedes esperar a que Google pase por todos y cada uno según su frecuencia de rastreo.

Para acelerar este proceso de desindexación de una gran cantidad de URLs, simplemente debemos generar un Sitemap incluyendo todas las URLs que tengamos ya con noindex y subirlas a Search Console. Para ello he pedido a mi compañero Julio que suba una herramienta para generar Sitemaps de forma gratuita que puedes encontrar aquí, ya que Screaming Frog y otras herramientas dan problemas con este tipo de URLs.
Una vez pasado un tiempo considerable simplemente cogemos todas esas URLs y comprobamos que se han desindexado usando URL Profiler (esta herramienta la explicaré más adelante). Simplemente insertas todas las URLs y seleccionas la opción de «Google Indexation».
Una vez que estén desindexadas eliminamos el Sitemap de Search Console.

2. Crear un Sitemap para eliminar URLs más rápidamente

¡Este escenario aparece en muchísimos ecommerce! Imagina que tienes un ecommerce y trabajas con temporadas de productos y de golpe tienes que eliminar diferentes categorías y productos por diferentes motivos. Ojo cuando pasa esto hay varias opciones:

• Comprobar que ninguna URL tiene enlaces externos que estén dando autoridad.
• Comprobar el tráfico orgánico de esas URLs, ya que si tengo algunas URLs con tráfico en ningún caso las eliminaría.
• Comprobar que no hay productos similares, ya que si los hubiera y tuvieramos tráfico a esas URLs podríamos ejecutar un 301.

  OJO: Algo muy común dentro de los comercios electrónicos son las redirecciones a otras secciones de la web, en los puntos anteriores ya he comentado lo que hay que comprobar antes de tomar decisiones. El problema de hacer redirecciones sin sentido común y sin analizar es que se van a generar códigos 404 Soft y como sigas con esa práctica tu Search Console se innundará de ellos.

1. Si ya tienes decidido que tienes que eliminar estas URLs porque no tienen tráfico ni enlaces externos que aporten autoridad, y además esas URLs ya no van a volver a existir. Simplemente debes hacer que esas URLs devuelvan un código 410.
2. Realizar un Sitemap con todas las URLs que responden 410. Recuerda que puedes crearlo con esta herramienta gratuita.
3. Una vez pasado un tiempo considerable simplemente cogemos todas esas URLs y comprobamos que se han desindexado usando URL Profiler. Simplemente insertas todas las URLs y seleccionas la opción de «Google Indexation».
4. Una vez que estén desindexadas eliminamos el Sitemap de Search Console.

Opiniones e Impresiones sobre los Sitemaps