Votre site interdit peut-être ChatGPT à votre insu

Notre agence vend un service pour que les entreprises soient citées par les intelligences artificielles. Le 11 novembre 2026, nous avons ouvert le fichier de règles de notre propre site et il demandait aux robots de ChatGPT, de Claude et de Gemini de rester à l'écart. Cet ordre n'avait pas été écrit par nous : il se trouvait dans un bloc que Cloudflare place en tête du fichier. Voici ce que nous avons trouvé, comment vérifier votre site en deux minutes et comment décider s'il vaut la peine d'autoriser ces robots.

Ce que nous avons trouvé sur notre site

Tout site peut avoir un fichier appelé robots.txt. C'est un mot laissé sur la porte, adressé aux robots qui parcourent internet : « vous pouvez entrer », « vous ne pouvez pas ». Le nôtre contenait deux mots, l'un contredisant l'autre.

Le premier commençait par la ligne « BEGIN Cloudflare Managed content » et appliquait Disallow: / (n'entrez dans aucune page) à une liste de robots : GPTBot, ClaudeBot, Google-Extended, CCBot, Applebot-Extended, Amazonbot, Bytespider, meta-externalagent et plus de vingt autres. Juste en dessous venait le bloc que nous avions écrit, appliquant Allow: / (vous pouvez entrer) à GPTBot, ClaudeBot, Google-Extended et CCBot. Les mêmes noms, avec des ordres opposés, dans le même fichier.

Le tableau de bord de Cloudflare montrait le résultat concret sur les sept jours précédents :

• ClaudeBot (Anthropic) : 0 accès autorisé, 273 sans succès.
• GPTBot (OpenAI) : 0 autorisé, 201 sans succès.
• CCBot (Common Crawl) : 0 autorisé, 207 sans succès.
• Bytespider et Amazonbot : 0 autorisé, 199 et 193 sans succès.

Sur la même période, les robots de recherche des IA passaient normalement : 202 accès autorisés pour PerplexityBot, 174 pour OAI-SearchBot et 109 pour Claude-SearchBot. Cette différence est au cœur de l'histoire, et l'explication se trouve dans la section suivante.

Une réserve honnête : « sans succès » dans le tableau de bord inclut toute requête qui ne s'est pas bien terminée, comme une page inexistante. Ce chiffre seul ne prouve donc pas un blocage. Ce qui interpelle, c'est le zéro dans la colonne des accès autorisés, pour tous les robots de la liste interdite et uniquement pour eux.

Trois types de robots d'IA, trois conséquences différentes

« Robot d'IA » ne désigne pas une seule chose. Chaque entreprise en utilise au moins trois, aux fonctions distinctes, et en interdire un n'interdit pas les autres. La documentation d'OpenAI et celle d'Anthropic les décrivent ainsi :

• Robot d'entraînement (GPTBot, ClaudeBot, CCBot). Il lit les pages afin que leur contenu puisse entrer dans l'entraînement des prochains modèles. L'interdire revient à demander que votre contenu reste en dehors de cet entraînement.
• Robot de recherche (OAI-SearchBot, Claude-SearchBot, PerplexityBot). Il constitue l'index que l'IA consulte lorsqu'elle effectue une recherche sur internet. OpenAI est claire : un site qui interdit OAI-SearchBot n'apparaît pas dans les réponses de recherche de ChatGPT, même s'il peut encore surgir sous forme de lien de navigation.
• Robot à la demande de l'utilisateur (ChatGPT-User, Claude-User, Perplexity-User). Il ouvre une page précise lorsque quelqu'un demande à l'IA de lire cette adresse. OpenAI précise que, s'agissant d'une action initiée par une personne, les règles du robots.txt peuvent ne pas s'appliquer à lui.

Google a un cas particulier. Google-Extended n'est pas un robot, c'est un nom utilisé uniquement dans le robots.txt pour indiquer si le contenu peut servir à entraîner Gemini et à nourrir ses réponses. La documentation de Google affirme que ce nom n'affecte ni l'inclusion du site dans la recherche ni son classement. Interdire Google-Extended ne fait chuter personne sur Google, et l'autoriser ne fait pas monter non plus.

Dans notre cas, la liste interdite était celle des robots d'entraînement. Les robots de recherche n'y ont jamais figuré, et c'est pourquoi ils continuaient d'entrer. Si votre crainte est « j'ai disparu de ChatGPT », la première chose à vérifier est si OAI-SearchBot est autorisé. Nous expliquons le chemin complet dans l'article sur comment apparaître dans ChatGPT et les autres IA.

Comment l'ordre s'est retrouvé là

Cloudflare est un service qui se place devant le site : il l'accélère, le protège contre les attaques et, depuis 2024, propose des contrôles sur les robots d'IA. La chronologie, d'après les communiqués de l'entreprise elle-même :

• Septembre 2024 : apparition de l'option de blocage des robots d'IA en un clic. Plus d'un million de clients ont choisi cette option.
• 1er juillet 2025 : l'entreprise annonce qu'elle bloque par défaut les robots d'IA qui accèdent à du contenu sans autorisation ni paiement, et que chaque nouveau domaine se verra demander, lors de l'inscription, s'il souhaite autoriser ces robots. Le même jour, elle lance le robots.txt géré, disponible sur tous les forfaits, y compris le gratuit.
• 24 septembre 2025 : Cloudflare indique que le robots.txt géré est actif sur plus de 3,8 millions de domaines et y inclut désormais la ligne Content-Signal: search=yes, ai-train=no, ce qui signifie « utilisation autorisée pour la recherche, interdite pour l'entraînement ».

La documentation indique que cette fonction n'est pas activée d'office : quelqu'un doit activer l'interrupteur « Enable Bot Preference Sync ». Dans notre agence, personne ne se souvient de l'avoir activé. Le plus probable est qu'il s'agisse d'un de ces écrans de configuration où la réponse suggérée est la protection et où l'on accepte sans lire jusqu'au bout. C'est pourquoi le titre parle de « à votre insu » : le choix existe, mais il est fait en un clic d'une seconde, par quelqu'un qui pense à autre chose.

Il faut reconnaître que l'intention de Cloudflare est défendable. L'entreprise soutient que les IA lisent beaucoup et renvoient peu de visites, et veut que ceux qui produisent du contenu puissent le faire payer. Pour un journal, cela a tout son sens. Pour une petite entreprise qui veut être trouvée, le calcul est souvent différent.

Vérifiez votre site en 2 minutes

1. Dans le navigateur, saisissez l'adresse de votre site suivie de /robots.txt. Exemple : www.suaempresa.com.br/robots.txt.
2. Recherchez « Cloudflare Managed ». S'il apparaît, il existe un bloc que vous n'avez pas écrit.
3. Recherchez « GPTBot », « ClaudeBot » et « Google-Extended ». Regardez ce qui figure à la ligne suivante : Disallow: / interdit tout le site, Allow: / l'autorise.
4. Recherchez « OAI-SearchBot » et « PerplexityBot ». Si l'un d'eux est accompagné de Disallow: /, le problème est plus sérieux, car ce sont les robots de recherche.
5. Si le même nom apparaît deux fois avec des ordres opposés, vous avez le défaut que nous avions.

À propos du double ordre : la norme technique du robots.txt (RFC 9309) prescrit de fusionner les règles répétées pour un même robot et, en cas d'égalité, d'appliquer la plus permissive. Seulement, respecter le robots.txt est volontaire, et tous les robots n'interprètent pas l'égalité de la même manière. Un fichier contradictoire est un pari ; un fichier propre est une certitude.

Si le site n'utilise pas Cloudflare, le test est le même. Tout service placé devant le site, ou toute personne qui est déjà intervenue dessus, peut y avoir laissé une interdiction.

Où la désactiver, si votre site utilise Cloudflare

Dans notre tableau de bord, l'interdiction se trouvait à deux endroits, et il a fallu modifier les deux :

1. AI Crawl Control → Overview → « Enable Bot Preference Sync ». Cet interrupteur est celui qui écrit le bloc en tête du robots.txt. Une fois désactivé, le fichier redevient uniquement le vôtre.
2. Security → Settings → Bot traffic → « AI Crawler and Agent access policies ». Ce sont trois lignes : Search (recherche), Training (entraînement) et Agents (robots à la demande de l'utilisateur). Chacune accepte « Allow », « Disallow » (demande dans le robots.txt), « Block on pages with ads » (bloque seulement là où il y a de la publicité) ou « Block » (bloque réellement). Chez nous, Search était sur Allow, Training sur Disallow et Agents sur Block on pages with ads.

Nous avons passé les trois sur « Allow » et vérifié le fichier en ligne : le bloc de Cloudflare avait disparu. Quelques minutes plus tard, ClaudeBot a enregistré le premier accès autorisé de la semaine. GPTBot et CCBot n'étaient pas encore revenus au moment de la publication ; OpenAI indique que ses systèmes peuvent mettre environ 24 heures à s'adapter à une modification du robots.txt.

Un avertissement : ces noms de menus changent souvent. Si vous ne les trouvez pas, cherchez « AI » dans la recherche du tableau de bord.

Autoriser ou maintenir le blocage ? Le critère

Il n'existe pas de réponse unique. La question qui tranche est : votre contenu est-il le produit ou la vitrine ?

Maintenez le blocage des robots d'entraînement si le contenu est ce que vous vendez : portail d'actualités, formation, banque d'images, matériel pédagogique, texte littéraire. Dans ces cas, entrer dans l'entraînement d'un modèle, c'est offrir gratuitement ce qui paie vos factures. Un débat juridique est en cours à ce sujet, que nous avons résumé dans l'article sur l'entraînement d'une IA avec une œuvre protégée.

Autorisez si le contenu existe pour attirer des clients : la boulangerie qui explique comment commander un gâteau, la clinique qui décrit ses traitements, le cabinet comptable qui publie des réponses aux questions des MEI. Personne ne paie pour lire ces pages. Elles existent pour que l'entreprise soit trouvée, et une IA qui connaît votre activité est un lieu de plus où cela peut se produire.

Dans tous les cas, ne bloquez pas les robots de recherche (OAI-SearchBot, Claude-SearchBot, PerplexityBot), à moins que la décision soit réellement de rester en dehors des réponses des IA.

Le gain d'autoriser l'entraînement est faible et lent à venir. Les modèles sont entraînés de temps à autre, et aucune entreprise ne promet que votre site y entrera ni qu'il sera cité pour cette raison. Parmi les 10 000 plus grands sites du monde, seuls 7,8 % interdisaient GPTBot à la mi-2025, selon Cloudflare : la grande majorité l'autorisait déjà, et cela n'a pas rendu tout le monde célèbre auprès des IA. Autoriser lève un obstacle. Ce qui pousse l'IA à bien parler d'une entreprise reste ce que nous décrivons dans ce que l'IA dit de votre entreprise : un site clair, des fiches correctes, des avis auxquels on répond.

Ce qui ne sert à rien

• Croire que le robots.txt est un cadenas. C'est une demande. Cloudflare écrit elle-même que les signaux de contenu « ne sont pas des contre-mesures techniques » et que certaines entreprises peuvent les ignorer. Qui a vraiment besoin de bloquer utilise le blocage au niveau du pare-feu.
• Écrire « Allow » sous un « Disallow » et considérer le sujet réglé. C'était notre erreur. Le fichier qui compte est celui qui est en ligne, et il peut contenir des passages que vous n'avez pas écrits.
• Tester en se faisant passer pour le robot. Changer l'identification du navigateur en « GPTBot » ne prouve rien : Cloudflare vérifie l'adresse d'origine du véritable robot. Le test qui vaut est la colonne des accès autorisés du tableau de bord, quelques jours plus tard.
• Attendre un résultat la même semaine. L'effet de l'entraînement apparaît dans la génération suivante de modèles, lorsqu'il apparaît.

Ce que cela signifie pour votre entreprise

Cet épisode nous a laissé une leçon qui vaut plus que la configuration : le site d'une entreprise comporte des couches que personne dans l'entreprise n'a écrites. Le service d'hébergement, le service de protection et les outils installés au fil des ans prennent des décisions au nom du propriétaire, et certaines contredisent ce que l'entreprise souhaite. Nous vendons de la visibilité dans les IA et nous avons passé des mois avec un panneau « entrée interdite » destiné aux IA sur notre porte.

Vérifier prend deux minutes et ne coûte rien. Si vous avez trouvé quelque chose d'étrange dans votre robots.txt et ne savez pas si vous devez y toucher, notre équipe de SEO et d'optimisation pour les réponses d'IA réalise cet audit : elle lit le fichier, le tableau de bord du service qui protège le site et ce que chaque IA répond aujourd'hui à propos de votre entreprise, puis vous remet la liste de ce qu'il faut modifier.

Sources

• Fichier robots.txt et tableau de bord AI Crawl Control de Cloudflare du site de Agência Primeira Página, consultés le 11 novembre 2026.
• Cloudflare, communiqué du 1er juillet 2025 sur le blocage par défaut des robots d'IA.
• Cloudflare, blog, « Control content use for AI training » (1er juillet 2025), avec les données des 10 000 plus grands domaines.
• Cloudflare, blog, « Content Signals Policy » (24 septembre 2025).
• Cloudflare, documentation du robots.txt géré et d'AI Crawl Control.
• OpenAI, documentation des robots (GPTBot, OAI-SearchBot et ChatGPT-User).
• Anthropic, centre d'aide, description de ClaudeBot, Claude-User et Claude-SearchBot.
• Google, documentation des robots d'exploration, entrée Google-Extended.
• IETF, RFC 9309, Robots Exclusion Protocol.