Guía, actualizada el 2026-10-21
Bloquea el entrenamiento de IA sin salir de la búsqueda con IA
Puedes pedirle a las empresas de IA que no entrenen modelos con tus páginas y seguir apareciendo cuando alguien le pregunta a ChatGPT, Claude, Perplexity o Google. Usan rastreadores distintos para cada cosa, así que robots.txt puede tratarlos por separado.
El robots.txt para copiar
Agrégalo al inicio de /robots.txt en tu dominio, o combínalo con las reglas que ya tienes. El primer grupo te excluye del entrenamiento. El segundo deja el acceso normal para todos los demás, incluidos los rastreadores de búsqueda con IA.
# Excluirse del entrenamiento de modelos de IA
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: Meta-ExternalAgent
User-agent: Amazonbot
User-agent: Bytespider
Disallow: /
# Todos los demás, incluidos los rastreadores de búsqueda con IA
User-agent: *
Allow: /Varias líneas User-agent seguidas forman un solo grupo que comparte las reglas de abajo. Es robots.txt estándar (RFC 9309) y así lo leen todos los rastreadores grandes. Si tu archivo ya tiene un grupo User-agent: * con reglas Disallow para rutas privadas, deja esas líneas en ese grupo.
Qué hace cada rastreador
Nuestra lista, revisada contra la documentación de cada empresa el 2026-10-19, divide los 20 rastreadores de IA en tres grupos.
| Grupo | Rastreadores |
|---|---|
| Entrenamiento de modelos | GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot, Meta-ExternalAgent, Amazonbot, Bytespider |
| Búsqueda con IA | OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Applebot, Amzn-SearchBot, DuckAssistBot |
| Consulta de un usuario | ChatGPT-User, Claude-User, Perplexity-User, Meta-ExternalFetcher, Amzn-User |
Google-Extended y Applebot-Extended nunca visitan tu sitio. Son nombres que usas en robots.txt para decir si las páginas que ya descargan Googlebot y Applebot pueden usarse para entrenar modelos. Bloquearlos no afecta la Búsqueda de Google ni la de Apple.
El error más común
Cuando revisamos 751 sitios populares de México, Estados Unidos y Canadá en octubre de 2026, la mayoría de los que se excluían del entrenamiento también bloqueaban al menos un rastreador de búsqueda con IA: 59% en México, 64% en la muestra de Estados Unidos y 47% en Canadá. Casi siempre la causa es una regla demasiado amplia, como Disallow: / bajo User-agent: *, o una lista copiada que incluye a OAI-SearchBot y PerplexityBot. Esos sitios salen de las respuestas de IA junto con el entrenamiento.
Lo que robots.txt no puede hacer
robots.txt es una petición y solo funciona con los rastreadores que lo leen. Los bloqueos de un CDN, firewall o servicio contra bots ocurren antes de leer robots.txt, así que revisa también esa configuración. Algunas empresas dicen además que los rastreadores que actúan a pedido de un usuario pueden no seguir robots.txt.
Revisa tu sitio
Nuestra revisión gratuita lee tu robots.txt como lo leen los 20 rastreadores y te muestra la línea que decide cada caso.