Si alguna vez has sentido que Google ignora tus artículos más recientes pero pierde el tiempo rastreando páginas que no sirven para nada (como etiquetas infinitas o archivos de administración), este post es para ti.
Durante mucho tiempo, vi mi archivo robots.txt como un simple documento técnico que venía "por defecto". Pero cuando mi blog empezó a crecer, entendí que el tiempo que Google pasa en mi sitio es limitado. A esto los SEOs lo llamamos Crawl Budget (presupuesto de rastreo).
Si quieres que Google deje de "perder el tiempo" y se enfoque en lo que realmente te trae dinero o lectores, tienes que aprender a usar el archivo robots.txt como un director de orquesta.
¿Qué es exactamente el archivo Robots.txt?
Es un archivo de texto simple que vive en la raíz de tu dominio (ej: tu-blog.blogspot.com/robots.txt). Su función es darle instrucciones a los robots de los buscadores (como el Googlebot) sobre qué rutas pueden visitar y cuáles no.
Ojo: El robots.txt no es una herramienta para eliminar páginas de los resultados de búsqueda (para eso usamos el NoIndex), sino para gestionar la carga del servidor y el flujo de rastreo.
Cómo configurar un Robots.txt estratégico en Blogger (o cualquier CMS)
Blogger viene con uno predeterminado, pero si quieres optimizarlo, puedes activarlo en Configuración > Rastreadores e indexación > Habilitar contenido de robots.txt personalizado.
Aquí te comparto la estructura que yo uso para dirigir el tráfico de rastreo de forma eficiente:
1. Bloquea lo irrelevante
Hay zonas de tu web que no aportan valor SEO. Por ejemplo, las búsquedas internas. No quieres que Google rastree miles de URLs generadas por usuarios buscando cosas en tu blog.
Instrucción:
Disallow: /search
2. Protege tu presupuesto de rastreo
Si tienes muchas etiquetas (tags), Google puede perderse rastreando combinaciones infinitas de estas.
Mi ajuste: A veces prefiero bloquear rutas como
/search/label/si veo que Google está ignorando mis posts principales por culpa del exceso de etiquetas.
3. El User-agent y el Sitemap
Es vital decirle a quién le hablas (generalmente a todos, *) y dónde está tu mapa del sitio.
Ejemplo Pro:
PlaintextUser-agent: * Disallow: /search Allow: / Sitemap: https://tu-blog.blogspot.com/sitemap.xml
Errores comunes que casi arruinan mi SEO
Aprendí por las malas que un pequeño error en este archivo puede ser catastrófico. Aquí lo que NUNCA debes hacer:
Bloquear el CSS o JS: Antiguamente se hacía para "limpiar". Hoy, Google necesita ver tus archivos
.cssy.jspara entender si tu web es apta para móviles. Si los bloqueas, tu ranking caerá.Usarlo para ocultar información sensible: El
robots.txtes un archivo público. Cualquiera puede leerlo. Si quieres proteger una página con contraseña o datos privados, usa otros métodos de seguridad.Bloquear la página de inicio por error: Un simple
Disallow: /le dice a Google: "Vete de aquí y no vuelvas". Revisa siempre dos veces las barras inclinadas.
¿Cómo saber si está funcionando?
No lances el archivo y te olvides. Yo uso siempre el Probador de robots.txt de la versión antigua de Google Search Console o simplemente la herramienta de Inspección de URLs. Si intento inspeccionar un post y me dice "Bloqueada por robots.txt", sé que he cometido un error.
Conclusión: Menos es más
No necesitas un archivo de cien líneas. Un buen robots.txt debe ser minimalista: bloquea lo que ensucia, permite lo que brilla y señala siempre el camino hacia tu Sitemap. Al dirigir el tráfico de rastreo correctamente, le haces la vida más fácil a Google y, a cambio, Google indexará tu contenido importante mucho más rápido.
¿Has revisado alguna vez qué dice tu archivo robots.txt? ¿Te da miedo tocarlo por si desapareces de Google? ¡Deja tu comentario y lo revisamos juntos para que pierdas el miedo!
No hay comentarios:
Publicar un comentario