robots.txt i bots d’IA: a qui deixar entrar

El robots.txt és un fitxer de text petit que viu a l’arrel del teu web (eldomini.com/robots.txt) i que diu als robots què poden rastrejar. Fins fa poc només ens importaven Googlebot i Bingbot. Ara truquen a la porta desenes de bots d’IA, i el robots.txt i els bots d’IA s’han convertit en una decisió de negoci: si bloqueges el que no toca, desapareixes de ChatGPT sense adonar-te’n.

En aquest article t’expliquem, sense romanços, quins bots hi ha, quins et porten visites i quins només s’enduen el teu contingut, i quin robots.txt recomanem a una pime que vol que la IA la recomani.

Què és el robots.txt i què hi pinta la IA?

El robots.txt és la llista de normes que els robots llegeixen abans d’entrar al teu web, i els bots d’IA també la consulten.

Segons Google Search Central, serveix per indicar als rastrejadors a quins URL poden accedir i, sobretot, perquè no saturin el teu servidor. Cada bloc comença per User-agent: (el nom del robot) i continua amb Allow: o Disallow: (el que pot o no pot rastrejar).

Dos avisos importants abans de tocar res:

• No serveix per amagar pàgines de Google. Google ho diu clar: el robots.txt no és un mecanisme per deixar una pàgina fora de Google. Per a això s’utilitza l’etiqueta noindex o una contrasenya.
• És una norma, no un pany. Els bots seriosos la respecten; els que no ho són, no. I alguns bots que actuen quan una persona demana alguna cosa a la IA se la poden saltar, com veurem.

Quins tipus de bots d’IA visiten el teu web?

N’hi ha tres famílies: bots de cerca, bots que actuen quan un usuari pregunta i bots d’entrenament. Cadascuna té un efecte diferent en el teu negoci.

El que diuen els mateixos fabricants:

• OpenAI: els webs que bloquegen OAI-SearchBot no es mostren a les respostes de cerca de ChatGPT. GPTBot és el d’entrenament i cada ajust és independent: en pots bloquejar un i deixar l’altre. Els canvis triguen unes 24 hores a aplicar-se.
• Anthropic: bloquejar Claude-SearchBot impedeix que el teu contingut s’indexi per a les cerques de Claude; bloquejar ClaudeBot només l’exclou de l’entrenament.
• Perplexity: recomana permetre PerplexityBot per sortir als seus resultats i aclareix que no el fa servir per entrenar models. Perplexity-User, en canvi, generalment ignora el robots.txt perquè actua a petició d’un usuari.
• Google: Google-Extended no és un robot a part, sinó una marca de control. Decideix si el teu contingut s’utilitza per entrenar Gemini, però segons Google no afecta la teva inclusió al cercador ni és un factor de posicionament. Compte: no hi ha cap token per sortir dels AI Overviews sense sortir de Google; aquests resums s’alimenten del rastreig normal de Googlebot.

Convé bloquejar els bots d’IA al robots.txt?

Els de cerca, gairebé mai: són el teu aparador a la IA. Els d’entrenament, depèn de quant valoris que el teu contingut no es reutilitzi.

Les dades de Cloudflare ajuden a decidir. El juliol del 2025, el 79 % del rastreig d’IA que va veure a la seva xarxa era per entrenar models. I la relació entre pàgines rastrejades i visites retornades era molt desigual: Anthropic rastrejava unes 38.000 pàgines per cada visita que enviava, OpenAI unes 1.100, Perplexity unes 195 i Google unes 5. Al seu resum del 2025, Cloudflare també va veure que GPTBot, ClaudeBot i CCBot eren els bots més bloquejats del tot als robots.txt dels webs més visitats.

Quan té sentit bloquejar l’entrenament? Si vens contingut (cursos, guies de pagament, receptes, fotografia) o si els teus textos són el teu avantatge competitiu. Si el que publiques són articles perquè et trobin, que la IA n’aprengui sol jugar a favor teu: és part del que expliquem a com sortir a ChatGPT.

Quin robots.txt per a bots d’IA recomanem a una pime?

Un de senzill: tot obert per als cercadors i la IA de cerca, el sitemap declarat i, si vols, l’entrenament bloquejat de manera explícita.

Aquesta és la versió «oberta», la que té ara mateix contenidon.com (generada per Yoast):

User-agent: *
Disallow:

Sitemap: https://eldomini.com/sitemap_index.xml

I aquesta és la versió «cerca sí, entrenament no», per a qui prefereixi no cedir els seus textos:

User-agent: *
Disallow:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

Sitemap: https://eldomini.com/sitemap_index.xml

Fixa’t en el que no hi apareix: ni OAI-SearchBot, ni Claude-SearchBot, ni PerplexityBot, ni Googlebot, ni Bingbot. Com que no tenen regles pròpies, segueixen la de l’asterisc i poden entrar. I no t’oblidis de Bing: diversos estudis veuen molta coincidència entre el que cita ChatGPT i els primers resultats de Bing, així que donar d’alta el web a Bing Webmaster Tools també suma.

Com revisar el teu robots.txt en 5 minuts?

Obre’l al navegador, busca bloquejos que no vols i comprova a Search Console que Google el llegeix bé.

1. Obre’l. Escriu eldomini.com/robots.txt al navegador. Si dona error 404, no passa res greu: sense fitxer, els robots entenen que poden entrar a tot arreu.
2. Busca un «Disallow: /» perillós. Si apareix sota User-agent: *, estàs tancant la porta a tothom, Google inclòs. Passa més del que sembla després d’un redisseny o d’un web en proves.
3. Revisa els bots de cerca. Comprova que OAI-SearchBot, Claude-SearchBot, PerplexityBot i Bingbot no tenen un bloc propi amb Disallow: /.
4. Decideix l’entrenament. Obert o tancat, però que sigui una decisió, no un descuit d’un connector de seguretat. Alguns connectors i proveïdors (Cloudflare, per exemple) bloquegen bots d’IA amb un clic: revisa-ho també.
5. Comprova-ho a Search Console. A Configuració > robots.txt veuràs la versió que Google ha llegit i si té errors.

Si prefereixes que t’ho mirem, l’ITVO revisa, entre altres coses, la teva preparació per a la IA, i respecta el teu robots.txt. Passa-la gratis a chequeo.contenidon.com: triga menys d’un minut, demana el teu web i el teu correu corporatiu i et dona una puntuació de 0 a 100.

Preguntes freqüents sobre robots.txt i bots d’IA

Si bloquejo GPTBot deixo de sortir a ChatGPT?

No. GPTBot és el robot d’entrenament d’OpenAI. Per sortir a les cerques de ChatGPT el que compta és OAI-SearchBot, i OpenAI tracta cada robot per separat.

Bloquejar Google-Extended em treu de Google?

No. Segons Google, Google-Extended no afecta la teva inclusió al cercador ni és un factor de posicionament. Només controla si el teu contingut s’utilitza per entrenar Gemini i per a algunes respostes de les seves aplicacions.

El robots.txt impedeix que la IA utilitzi el meu contingut?

Només amb els bots que el respecten. Els bots que actuen a petició d’un usuari, com Perplexity-User, el poden ignorar, i el que ja s’ha rastrejat abans no s’esborra.

On s’edita el robots.txt a WordPress?

Si fas servir Yoast o Rank Math, des de les seves eines d’edició de fitxers. Si no, per FTP o des de l’administrador de fitxers del teu allotjament, a la carpeta arrel del web.

Cada quant convé revisar-lo?

Després de cada redisseny, canvi de connector de seguretat o migració, i com a mínim un cop per trimestre, perquè apareixen bots nous sovint.