Como tener más URLs en Google

El otro día estaba revisando las ponencias de @ghostmou y @lakil sobre indexación de grandes sitios y el futuro del SEO ambos mencionaban en sus respectivas ponencias la forma en que google almacena el contenido.


Espero que miguel no me mate por poneros esta captura de una slide de la presentación de Mou.


Server


Como veis google almacena y asigna rutas de URLs a sus crawlers por lo que cuantas más rutas seamos capaz de pasarle a google para que luego mande a sus crawlers a rastrearnos mucho mejor.


Para que  os hagáis una idea mejor de como rastrea google un sitio, os dejo esta otra slide de seomoz:



Como veis los crawlers entran por los puntos de color rosa más fuerte y van indexando hasta un cierto nivel dependiendo de diversos factores asociados a una web PR, Trust, Crosslinking, Arquitectura del sitio, Enlaces interneos, etc… bueno muchos factores.


La idea es que si nuestro sitio le facilita a google la asignación de estas rutas mediante archivos sitemaps será más facil que nos indexe mayor cantidad de contenidos al pasarle mayor cantidad de rutas sin ser google el que tenga que rastrearlas.


Pero ya no nos vale solo con pasarle un sitemap.xml de nuestro sitio ya que si este sitemap tiene una gran cantidad de páginas nos podrá llegar a pasar lo mismo que en el anterior gráfico; hasta que cantidad de rutas de nuestro sitemap va a seguir google , nuestra sitemap está ordenado primero por las URLs más importantes o simplemente por las URLs más nuevas, tenemos un solo sitemap para nuestro sitio o tenemos varios sitemaps, etc…


Por lo que creo que la mejor propuesta para presentarle a google es un archivo con varios sitemaps comprimidos y por tipos de sitemap haciendo así que su trabajo de indexación sea  mucho más fácil  pudiendo llegar a obtener una mayor cantidad de URLs indexadas al facilitarle mucho el trabajo a google.


Por ejemplo:


Sitemap: http://www.misitio.com/sitemap.xml.gz


Sitemap: http://www.misitio.com/sitemap-image.xml


Sitemap: http://www.misitio.com/sitemap-video.xml


Con estos tipos de sitemaps, estamos enviando y orientando a los crawlers distintos GoogleBot; GoogleBot-Images y GoogleBot-Videos sin tener que ser estos los que tengan que crawlear todo nuestro sitio para obtener resultados de Images, Vídeos y URLs haciendo que así los crawlers puedan trabajar mucho más tiempo en nuestra página e indexen muchas más páginas en sus índices.


Actualización:


Me comenta Mou que se puede hacer un sitemap con colección de subsitemaps, así puedes enviar varios cientos de miles de URLs de golpe, lo podeis ver en http://www.rtve.es/sitemaps/sitemap.xml