robots.txt y bots de IA: a quién dejar entrar

El robots.txt es un archivo de texto pequeño que vive en la raíz de tu web (tudominio.com/robots.txt) y que dice a los robots qué pueden rastrear. Hasta hace poco solo nos importaban Googlebot y Bingbot. Ahora llaman a la puerta decenas de bots de IA, y el robots.txt y los bots de IA se han convertido en una decisión de negocio: si bloqueas al que no toca, desapareces de ChatGPT sin enterarte.

En este artículo te explicamos, sin pamplinas, qué bots existen, cuáles te traen visitas y cuáles solo se llevan tu contenido, y qué robots.txt recomendamos a una pyme que quiere que la IA la recomiende.

¿Qué es el robots.txt y qué pinta la IA en él?

El robots.txt es la lista de normas que los robots leen antes de entrar en tu web, y los bots de IA también la consultan.

Según Google Search Central, sirve para indicar a los rastreadores a qué URL pueden acceder y, sobre todo, para que no saturen tu servidor. Cada bloque empieza por User-agent: (el nombre del robot) y sigue con Allow: o Disallow: (lo que puede o no puede rastrear).

Dos avisos importantes antes de tocar nada:

• No sirve para esconder páginas de Google. Google lo dice claro: el robots.txt no es un mecanismo para dejar una página fuera de Google. Para eso se usa la etiqueta noindex o una contraseña.
• Es una norma, no una cerradura. Los bots serios la respetan; los que no son serios, no. Y algunos bots que actúan cuando una persona pide algo a la IA pueden saltársela, como veremos.

¿Qué tipos de bots de IA visitan tu web?

Hay tres familias: bots de búsqueda, bots que actúan cuando un usuario pregunta y bots de entrenamiento. Cada una tiene un efecto distinto en tu negocio.

Lo que dicen los propios fabricantes:

• OpenAI: las webs que bloquean OAI-SearchBot no se muestran en las respuestas de búsqueda de ChatGPT. GPTBot es el de entrenamiento y cada ajuste es independiente: puedes bloquear uno y dejar el otro. Los cambios tardan unas 24 horas en aplicarse.
• Anthropic: bloquear Claude-SearchBot impide que tu contenido se indexe para las búsquedas de Claude; bloquear ClaudeBot solo lo excluye del entrenamiento.
• Perplexity: recomienda permitir PerplexityBot para salir en sus resultados y aclara que no lo usa para entrenar modelos. Perplexity-User, en cambio, generalmente ignora el robots.txt porque actúa a petición de un usuario.
• Google: Google-Extended no es un robot aparte, sino una marca de control. Decide si tu contenido se usa para entrenar Gemini, pero según Google no afecta a tu inclusión en el buscador ni es un factor de posicionamiento. Ojo: no hay ningún token para salir de los AI Overviews sin salir de Google; esos resúmenes se alimentan del rastreo normal de Googlebot.

¿Conviene bloquear los bots de IA en el robots.txt?

A los de búsqueda, casi nunca: son tu escaparate en la IA. A los de entrenamiento, depende de cuánto valores que tu contenido no se reutilice.

Los datos de Cloudflare ayudan a decidir. En julio de 2025, el 79 % del rastreo de IA que vio en su red era para entrenar modelos. Y la relación entre páginas rastreadas y visitas devueltas era muy desigual: Anthropic rastreaba unas 38.000 páginas por cada visita que enviaba, OpenAI unas 1.100, Perplexity unas 195 y Google unas 5. En su resumen de 2025, Cloudflare también vio que GPTBot, ClaudeBot y CCBot eran los bots más bloqueados por completo en los robots.txt de las webs más visitadas.

¿Cuándo tiene sentido bloquear el entrenamiento? Si vendes contenido (cursos, guías de pago, recetas, fotografía) o si tus textos son tu ventaja competitiva. Si lo que publicas son artículos para que te encuentren, que la IA aprenda de ellos suele jugar a tu favor: es parte de lo que explicamos en cómo aparecer en ChatGPT.

¿Qué robots.txt para bots de IA recomendamos a una pyme?

Uno sencillo: todo abierto para los buscadores y la IA de búsqueda, el sitemap declarado y, si quieres, el entrenamiento bloqueado de forma explícita.

Esta es la versión «abierta», la que tiene ahora mismo contenidon.com (generada por Yoast):

User-agent: *
Disallow:

Sitemap: https://tudominio.com/sitemap_index.xml

Y esta es la versión «búsqueda sí, entrenamiento no», para quien prefiera no ceder sus textos:

User-agent: *
Disallow:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

Sitemap: https://tudominio.com/sitemap_index.xml

Fíjate en lo que no aparece: ni OAI-SearchBot, ni Claude-SearchBot, ni PerplexityBot, ni Googlebot, ni Bingbot. Al no tener reglas propias, siguen la del asterisco y pueden entrar. Y no olvides Bing: varios estudios ven mucha coincidencia entre lo que cita ChatGPT y los primeros resultados de Bing, así que dar de alta la web en Bing Webmaster Tools también suma.

¿Cómo revisar tu robots.txt en 5 minutos?

Ábrelo en el navegador, busca bloqueos que no quieres y comprueba en Search Console que Google lo lee bien.

1. Ábrelo. Escribe tudominio.com/robots.txt en el navegador. Si da error 404, no pasa nada grave: sin archivo, los robots entienden que pueden entrar en todo.
2. Busca un «Disallow: /» peligroso. Si aparece debajo de User-agent: *, estás cerrando la puerta a todo el mundo, Google incluido. Pasa más de lo que parece después de un rediseño o de una web en pruebas.
3. Revisa los bots de búsqueda. Comprueba que OAI-SearchBot, Claude-SearchBot, PerplexityBot y Bingbot no tienen un bloque propio con Disallow: /.
4. Decide el entrenamiento. Abierto o cerrado, pero que sea una decisión, no un descuido de un plugin de seguridad. Algunos plugins y proveedores (Cloudflare, por ejemplo) bloquean bots de IA con un clic: revísalo también.
5. Compruébalo en Search Console. En Configuración > robots.txt verás la versión que Google ha leído y si tiene errores.

Si prefieres que te lo miremos, la ITVO revisa, entre otras cosas, tu preparación para la IA, y respeta tu robots.txt. Pásala gratis en chequeo.contenidon.com: tarda menos de un minuto, pide tu web y tu email corporativo y te da una puntuación de 0 a 100.

Preguntas frecuentes sobre robots.txt y bots de IA

¿Si bloqueo GPTBot dejo de salir en ChatGPT?

No. GPTBot es el robot de entrenamiento de OpenAI. Para salir en las búsquedas de ChatGPT el que cuenta es OAI-SearchBot, y OpenAI trata cada robot por separado.

¿Bloquear Google-Extended me quita de Google?

No. Según Google, Google-Extended no afecta a tu inclusión en el buscador ni es un factor de posicionamiento. Solo controla si tu contenido se usa para entrenar Gemini y para algunas respuestas de sus aplicaciones.

¿El robots.txt impide que la IA use mi contenido?

Solo con los bots que lo respetan. Los bots que actúan a petición de un usuario, como Perplexity-User, pueden ignorarlo, y lo que ya se rastreó antes no se borra.

¿Dónde se edita el robots.txt en WordPress?

Si usas Yoast o Rank Math, desde sus herramientas de edición de archivos. Si no, por FTP o desde el administrador de archivos de tu hosting, en la carpeta raíz de la web.

¿Cada cuánto conviene revisarlo?

Después de cada rediseño, cambio de plugin de seguridad o migración, y al menos una vez al trimestre, porque aparecen bots nuevos con frecuencia.