SEOlytix

Comprobar robots.txt

Escribe una URL y te decimos si Google, Bing y los buscadores con IA pueden rastrearla, qué línea del robots.txt lo decide y si el archivo declara el sitemap.

Gratis y sin registro. Hasta 5 análisis al día.

Qué comprueba esta herramienta

Descargamos el robots.txt del dominio y lo interpretamos como lo hace Google: elegimos el grupo de reglas que corresponde a cada rastreador y aplicamos la regla más específica para la ruta que has escrito. Así sabes no solo si hay un bloqueo, sino qué línea exacta lo provoca.

  • Si el archivo existe y qué código HTTP devuelve.
  • Si Googlebot puede rastrear la URL concreta y la portada.
  • El acceso de Bingbot, OAI-SearchBot, PerplexityBot, GPTBot, Google-Extended y ClaudeBot.
  • Los sitemaps declarados y el contenido completo del archivo.

Cómo funciona un robots.txt

Es un archivo de texto con grupos de reglas. Cada grupo empieza por una o varias líneas User-agent y sigue con líneas Disallow (no rastrear) y Allow (sí rastrear).

Un robots.txt sencillo y correcto
User-agent: *
Disallow: /mi-cuenta/
Disallow: /carrito/
Disallow: /*?orden=

Sitemap: https://www.tu-web.es/sitemap.xml

Tres reglas que conviene conocer:

  • Cada bot sigue un solo grupo. Si existe un grupo User-agent: Googlebot, Google ignora el grupo *, así que tienes que repetir ahí las reglas que quieras mantener.
  • Gana la regla más larga. Con Disallow: /blog/ y Allow: /blog/guia-seo, la guía se puede rastrear.
  • Hay dos comodines. * equivale a cualquier texto y $ marca el final de la URL: Disallow: /*.pdf$ bloquea todos los PDF.

Errores que vemos a menudo

Publicar con el robots.txt del entorno de pruebas

Es el error más caro. Mientras se desarrolla una web se bloquea todo con Disallow: / y al publicarla nadie lo quita. Google deja de rastrear el sitio y en pocas semanas las páginas empiezan a caer. Si tu tráfico ha bajado de golpe tras una migración, es lo primero que hay que mirar.

Esto bloquea toda la web
User-agent: *
Disallow: /

Bloquear CSS y JavaScript

Google necesita cargar los estilos y scripts para ver la página como un usuario. Si bloqueas carpetas como /wp-includes/ o /assets/, puede entender mal el contenido o pensar que la web no está adaptada a móvil.

Usarlo para desindexar

Bloquear una URL que ya está en Google no la elimina: Google deja de leerla y no puede ver la etiqueta noindex. Primero pon noindex, espera a que desaparezca y, si quieres, bloquéala después.

robots.txt y los buscadores con IA

Cada empresa de IA usa bots distintos para cosas distintas, y conviene no confundirlos. OAI-SearchBot y PerplexityBot leen tu web para citarla en sus respuestas: si los bloqueas, desapareces de esos buscadores. GPTBot, ClaudeBot y Google-Extended recogen contenido para entrenar modelos; bloquearlos es una decisión editorial que no afecta a tu posición en Google.

Permitir buscadores con IA, pero no el entrenamiento
User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Allow: /

Sitemap: https://www.tu-web.es/sitemap.xml

Después de revisar el robots.txt, comprueba que la página no tenga un noindex en las meta etiquetas y que su canonical apunte a sí misma. Son las otras dos razones por las que una URL no aparece en Google.

Preguntas frecuentes

¿Dónde está el archivo robots.txt de una web?

Siempre en la raíz del dominio: https://www.tu-web.es/robots.txt. Cada subdominio (tienda.tu-web.es, blog.tu-web.es) necesita el suyo, y también cambia entre http y https.

¿robots.txt sirve para que una página no salga en Google?

No. robots.txt impide el rastreo, no la indexación. Si una URL bloqueada recibe enlaces, Google puede indexarla sin leerla. Para sacarla de los resultados usa la etiqueta noindex y deja que Google la rastree para que la vea.

¿Qué pasa si mi web no tiene robots.txt?

Nada grave: si el archivo devuelve un error 404, Google entiende que puede rastrear todo. Aun así conviene tenerlo para declarar el sitemap y bloquear zonas sin valor como el área privada o el buscador interno.

¿Tengo que bloquear a GPTBot y otros bots de IA?

Es una decisión de negocio, no de SEO. GPTBot, ClaudeBot y Google-Extended recogen contenido para entrenar modelos. Bloquearlos no afecta a Google Search. Si bloqueas OAI-SearchBot, en cambio, ChatGPT Search no podrá citar tus páginas.

¿Cuánto tarda Google en ver un cambio en robots.txt?

Google guarda en caché el robots.txt hasta 24 horas. Si corriges un bloqueo urgente, puedes pedir que lo vuelva a leer desde el informe de robots.txt de Google Search Console.

Otras herramientas gratuitas