SEOlytix

Generador de robots.txt

Elige qué zonas no necesita rastrear Google y qué hacer con los bots de IA. El archivo se crea al momento, listo para copiar o descargar.

Para añadir la línea del sitemap. Si tu sitemap tiene otra dirección, cámbiala después.

Zonas que Google no necesita rastrear
Bots de inteligencia artificial

Tu robots.txt

User-agent: *
Allow: /

# Entrenamiento de IA: bloqueado
User-agent: GPTBot
User-agent: Google-Extended
User-agent: ClaudeBot
User-agent: Applebot-Extended
User-agent: Meta-ExternalAgent
User-agent: CCBot
Disallow: /

Súbelo a la raíz de tu dominio (tu-web.es/robots.txt) y compruébalo después con el comprobador de robots.txt.

Qué hace un robots.txt

Es un archivo de texto en la raíz de tu web que indica a los rastreadores qué partes pueden visitar. Google, Bing y los bots de IA lo leen antes de entrar. Sirve para que no pierdan el tiempo en zonas sin valor, como el panel de administración o los resultados del buscador interno, y para indicarles dónde está el sitemap.

Un robots.txt básico, que permite todo y declara el sitemap, es así:

User-agent: *
Allow: /

Sitemap: https://www.tu-web.es/sitemap.xml

Los errores más habituales

  • Dejar un Disallow: / del entorno de pruebas. Bloquea toda la web y es el error más grave que puede tener un robots.txt.
  • Usarlo para ocultar páginas. Para que algo no salga en Google hace faltanoindex, no un bloqueo.
  • Bloquear CSS o JavaScript. Google necesita esos archivos para ver la página.
  • Olvidar que cada bot con su propio grupo ignora el grupo general. Si añades reglas para GPTBot, las de User-agent: * ya no se le aplican.

Después de subirlo

Comprueba que funciona con el comprobador de robots.txt, que muestra qué regla se aplica a cada URL, y con el comprobador de bots de IA. En Google Search Console, el informe de robots.txt te dice cuándo lo leyó Google por última vez. Si has corregido un bloqueo, puedes pedir que lo vuelva a leer desde ahí.

Preguntas frecuentes

¿Dónde se sube el archivo robots.txt?

En la raíz del dominio, de forma que se abra en https://www.tu-web.es/robots.txt. Cada subdominio necesita el suyo. En WordPress lo puedes editar con Yoast SEO o Rank Math; en Shopify, desde la plantilla robots.txt.liquid.

¿Puedo usar robots.txt para que una página no salga en Google?

No. robots.txt impide el rastreo, no la indexación: una URL bloqueada puede aparecer en Google si otras webs la enlazan. Para sacar una página de los resultados usa la etiqueta noindex y deja que Google la rastree.

¿Qué pasa si bloqueo los bots de IA?

Depende de cuáles. Bloquear GPTBot, Google-Extended o ClaudeBot evita que tu contenido se use para entrenar modelos y no afecta a Google. Bloquear OAI-SearchBot, PerplexityBot o Claude-SearchBot hace que esos buscadores con IA no puedan citarte.

¿Por qué no se bloquean los archivos CSS y JavaScript?

Porque Google los necesita para ver la página como un usuario. Bloquearlos puede hacer que Google crea que tu web no está adaptada al móvil o que no tiene contenido.

¿Se guarda lo que escribo en el generador?

No. El archivo se genera en tu navegador y no se envía nada a nuestro servidor.

Otras herramientas gratuitas