Dos tipos de bots de IA
No todos los bots de IA hacen lo mismo, y conviene tratarlos por separado:
- Bots de búsqueda. Leen tu web para mostrarla y citarla en las respuestas de un buscador con IA. Si los bloqueas, dejas de aparecer ahí. Para casi cualquier negocio interesa permitirlos.
- Bots de entrenamiento. Recogen contenido para entrenar modelos. Bloquearlos no cambia tu posición en Google ni en los buscadores con IA. Es una decisión sobre el uso de tu contenido, no de SEO.
Qué hace cada rastreador
| Rastreador | Empresa | Para qué sirve | Si lo bloqueas |
|---|---|---|---|
| Googlebot | Google Search, AI Overviews y modo IA | Desapareces de Google | |
| Bingbot | Microsoft | Bing, DuckDuckGo y Copilot | Desapareces de Bing y Copilot |
| OAI-SearchBot | OpenAI | Resultados de ChatGPT Search | ChatGPT no puede citarte |
| PerplexityBot | Perplexity | Respuestas de Perplexity | Perplexity no puede citarte |
| Claude-SearchBot | Anthropic | Búsquedas web de Claude | Claude no encuentra tus páginas |
| GPTBot | OpenAI | Entrenar modelos | No afecta a ChatGPT Search |
| Google-Extended | Entrenar Gemini | No afecta a Google Search | |
| ClaudeBot | Anthropic | Entrenar modelos | No afecta a las búsquedas de Claude |
| Applebot-Extended | Apple | Entrenar modelos de Apple | No afecta a Siri ni a Spotlight |
| Meta-ExternalAgent | Meta | Entrenar modelos de Meta | No afecta a la vista previa en redes |
| CCBot | Common Crawl | Archivo público usado para entrenar IA | Sales de futuros archivos de Common Crawl |
Un robots.txt recomendado
Si quieres aparecer en los buscadores con IA pero no ceder tu contenido para entrenar modelos, esta es una base. Las reglas por bot se añaden a las que ya tengas para el resto. También puedes crearlo a medida con el generador de robots.txt:
User-agent: GPTBot
User-agent: Google-Extended
User-agent: ClaudeBot
User-agent: Applebot-Extended
User-agent: Meta-ExternalAgent
User-agent: CCBot
Disallow: /
User-agent: *
Allow: /
Sitemap: https://tu-web.es/sitemap.xmlUn bot que tiene su propio grupo de reglas ignora el grupo User-agent: *. Si bloqueas algo para todos, por ejemplo /admin/, repítelo también en los grupos de los bots que nombres. Puedes revisar el resultado con el comprobador de robots.txt, que muestra qué regla se aplica a cada URL.
Qué pasa en las webs de pymes españolas
En el estudio SEO de pymes 2026 analizamos 406 webs de pequeños negocios. Solo el 3 % bloquea a GPTBot, y un 2 % bloquea a OAI-SearchBot, con lo que se queda fuera de ChatGPT Search probablemente sin saberlo. Lo habitual es que el robots.txt ni siquiera mencione a los bots de IA.
Dejar pasar a los bots es el primer paso. El resto, de Bing a los datos estructurados, lo explicamos en la guía cómo aparecer en ChatGPT y en los buscadores con IA.