Seu site pode estar proibindo o ChatGPT sem você saber

A nossa agência vende um serviço para empresas serem citadas pelas inteligências artificiais. Em 11 de novembro de 2026 abrimos o arquivo de regras do nosso próprio site e ele mandava os robôs do ChatGPT, do Claude e do Gemini ficarem de fora. A ordem não tinha sido escrita por nós: estava num bloco que a Cloudflare coloca no topo do arquivo. Abaixo, o que encontramos, como você confere o seu site em dois minutos e como decidir se vale liberar.

O que encontramos no nosso site

Todo site pode ter um arquivo chamado robots.txt. É um bilhete na porta, endereçado aos robôs que leem a internet: “você pode entrar”, “você não pode”. O nosso tinha dois bilhetes, um contradizendo o outro.

O primeiro começava com a linha “BEGIN Cloudflare Managed content” e dava Disallow: / (não entre em nenhuma página) para uma lista de robôs: GPTBot, ClaudeBot, Google-Extended, CCBot, Applebot-Extended, Amazonbot, Bytespider, meta-externalagent e mais de vinte outros. Logo abaixo vinha o bloco que nós escrevemos, dando Allow: / (pode entrar) para GPTBot, ClaudeBot, Google-Extended e CCBot. Os mesmos nomes, com ordens opostas, no mesmo arquivo.

O painel da Cloudflare mostrava o resultado prático nos sete dias anteriores:

• ClaudeBot (Anthropic): 0 acessos permitidos, 273 sem sucesso.
• GPTBot (OpenAI): 0 permitidos, 201 sem sucesso.
• CCBot (Common Crawl): 0 permitidos, 207 sem sucesso.
• Bytespider e Amazonbot: 0 permitidos, 199 e 193 sem sucesso.

No mesmo período, os robôs de busca das IAs passavam normalmente: 202 acessos permitidos do PerplexityBot, 174 do OAI-SearchBot e 109 do Claude-SearchBot. Essa diferença é o centro da história, e a explicação está na próxima seção.

Uma ressalva honesta: “sem sucesso” no painel inclui qualquer pedido que não terminou bem, como página que não existe. O número sozinho não prova bloqueio. O que chama atenção é o zero na coluna dos permitidos, para todos os robôs da lista proibida e só para eles.

Três tipos de robô de IA, três consequências diferentes

“Robô de IA” não é uma coisa só. Cada empresa usa pelo menos três, com funções separadas, e proibir um não proíbe os outros. A documentação da OpenAI e a da Anthropic descrevem assim:

• Robô de treino (GPTBot, ClaudeBot, CCBot). Lê as páginas para que o conteúdo possa entrar no treinamento dos próximos modelos. Proibir significa pedir que o seu material fique fora desse treino.
• Robô de busca (OAI-SearchBot, Claude-SearchBot, PerplexityBot). Monta o índice que a IA consulta quando pesquisa na internet. A OpenAI é direta: site que proíbe o OAI-SearchBot não aparece nas respostas de busca do ChatGPT, embora ainda possa surgir como link de navegação.
• Robô a pedido do usuário (ChatGPT-User, Claude-User, Perplexity-User). Abre uma página específica quando alguém pede à IA que leia aquele endereço. A OpenAI avisa que, por ser ação iniciada por uma pessoa, as regras do robots.txt podem não se aplicar a ele.

O Google tem um caso próprio. Google-Extended não é um robô, é um nome usado só no robots.txt para dizer se o conteúdo pode treinar o Gemini e servir de base para as respostas dele. A documentação do Google afirma que esse nome não afeta a inclusão do site na busca nem é usado como sinal de posicionamento. Proibir o Google-Extended não derruba ninguém no Google, e liberar também não sobe.

No nosso caso, a lista proibida era a dos robôs de treino. Os de busca nunca estiveram nela, e por isso continuavam entrando. Se o seu receio é “sumi do ChatGPT”, a primeira coisa a olhar é se o OAI-SearchBot está liberado. Explicamos o caminho completo no post sobre como aparecer no ChatGPT e nas outras IAs.

Como a ordem foi parar lá

A Cloudflare é um serviço que fica na frente do site: acelera, protege contra ataques e, desde 2024, oferece controles sobre robôs de IA. A linha do tempo, pelos comunicados da própria empresa:

• Setembro de 2024: surge a opção de bloquear robôs de IA com um clique. Mais de um milhão de clientes escolheram essa opção.
• 1º de julho de 2025: a empresa anuncia que passa a bloquear por padrão os robôs de IA que acessam conteúdo sem permissão ou pagamento, e que todo domínio novo será perguntado, no cadastro, se quer permitir esses robôs. No mesmo dia lança o robots.txt gerenciado, disponível em todos os planos, inclusive o gratuito.
• 24 de setembro de 2025: a Cloudflare informa que o robots.txt gerenciado está ativo em mais de 3,8 milhões de domínios e passa a incluir neles a linha Content-Signal: search=yes, ai-train=no, que quer dizer “pode usar na busca, não pode usar para treinar”.

A documentação diz que o recurso não vem ligado: alguém precisa ativar a chave “Enable Bot Preference Sync”. Na nossa agência ninguém lembra de ter ativado. O mais provável é que tenha sido uma daquelas telas de configuração em que a resposta sugerida é a proteção e a gente aceita sem ler até o fim. É por isso que o título fala em “sem você saber”: a escolha existe, mas é feita num clique de um segundo, por quem está pensando em outra coisa.

Vale dizer que a intenção da Cloudflare é defensável. A empresa argumenta que as IAs leem muito e devolvem poucas visitas, e quer que quem produz conteúdo possa cobrar por isso. Para um jornal, faz todo o sentido. Para um pequeno negócio que quer ser encontrado, a conta costuma ser outra.

Confira o seu site em 2 minutos

1. No navegador, digite o endereço do seu site seguido de /robots.txt. Exemplo: www.suaempresa.com.br/robots.txt.
2. Procure por “Cloudflare Managed”. Se aparecer, existe um bloco que não foi escrito por você.
3. Procure por “GPTBot”, “ClaudeBot” e “Google-Extended”. Veja o que vem na linha de baixo: Disallow: / proíbe o site inteiro, Allow: / libera.
4. Procure por “OAI-SearchBot” e “PerplexityBot”. Se algum estiver com Disallow: /, o problema é mais sério, porque esses são os robôs de busca.
5. Se o mesmo nome aparecer duas vezes com ordens opostas, você tem o defeito que nós tínhamos.

Sobre a ordem dupla: a norma técnica do robots.txt (RFC 9309) manda juntar as regras repetidas para o mesmo robô e, em caso de empate, usar a mais permissiva. Só que seguir o robots.txt é voluntário, e nem todo robô interpreta empate da mesma forma. Arquivo contraditório é aposta; arquivo limpo é certeza.

Se o site não usa Cloudflare, o teste é o mesmo. Qualquer serviço que fique na frente do site, ou qualquer pessoa que já tenha mexido nele, pode ter deixado uma proibição lá.

Onde desligar, se o seu site usa Cloudflare

No nosso painel a proibição estava em dois lugares, e foi preciso mexer nos dois:

1. AI Crawl Control → Overview → “Enable Bot Preference Sync”. Essa chave é a que escreve o bloco no topo do robots.txt. Desligada, o arquivo volta a ser só o seu.
2. Security → Settings → Bot traffic → “AI Crawler and Agent access policies”. São três linhas: Search (busca), Training (treino) e Agents (robôs a pedido do usuário). Cada uma aceita “Allow”, “Disallow” (pede no robots.txt), “Block on pages with ads” (bloqueia só onde houver anúncio) ou “Block” (barra de fato). A nossa estava com Search em Allow, Training em Disallow e Agents em Block on pages with ads.

Passamos as três para “Allow” e conferimos o arquivo no ar: o bloco da Cloudflare tinha sumido. Minutos depois, o ClaudeBot registrou o primeiro acesso permitido da semana. GPTBot e CCBot ainda não tinham voltado quando publicamos; a OpenAI informa que os sistemas dela podem levar cerca de 24 horas para se ajustar a uma mudança no robots.txt.

Um aviso: esses nomes de menu mudam com frequência. Se não encontrar, procure por “AI” na busca do painel.

Liberar ou manter bloqueado? O critério

Não existe resposta única. A pergunta que decide é: o seu conteúdo é o produto ou é a vitrine?

Mantenha os robôs de treino bloqueados se o conteúdo é o que você vende: portal de notícias, curso, banco de imagens, material didático, texto literário. Nesses casos, entrar no treino de um modelo é entregar de graça aquilo que paga as contas. Há um debate jurídico em curso sobre isso, que resumimos no post sobre treinar IA com obra protegida.

Libere se o conteúdo existe para trazer cliente: a padaria que explica como encomendar bolo, a clínica que descreve os tratamentos, o escritório de contabilidade que publica dúvidas de MEI. Ninguém paga para ler essas páginas. Elas existem para que a empresa seja encontrada, e uma IA que conhece o seu negócio é mais um lugar onde isso pode acontecer.

Em qualquer dos casos, não bloqueie os robôs de busca (OAI-SearchBot, Claude-SearchBot, PerplexityBot), a menos que a decisão seja mesmo ficar fora das respostas das IAs.

O ganho de liberar o treino é pequeno e demora. Os modelos são treinados de tempos em tempos, e nenhuma empresa promete que o seu site entra ou que vai ser citado por causa disso. Entre os 10 mil maiores sites do mundo, só 7,8% proibiam o GPTBot em meados de 2025, segundo a Cloudflare: a grande maioria já estava liberada, e isso não tornou todos famosos nas IAs. Liberar tira um obstáculo. O que faz a IA falar bem de uma empresa continua sendo o que descrevemos em o que a IA diz sobre a sua empresa: site claro, cadastros corretos, avaliações respondidas.

O que não adianta

• Achar que robots.txt é cadeado. É um pedido. A própria Cloudflare escreve que os sinais de conteúdo “não são contramedidas técnicas” e que algumas empresas podem ignorá-los. Quem precisa barrar de verdade usa o bloqueio no firewall.
• Escrever “Allow” embaixo de um “Disallow” e dar o assunto por resolvido. Foi o nosso erro. O arquivo que vale é o que está no ar, e ele pode ter trechos que você não escreveu.
• Testar fingindo ser o robô. Trocar a identificação do navegador para “GPTBot” não prova nada: a Cloudflare confere o endereço de origem do robô verdadeiro. O teste que vale é a coluna de acessos permitidos do painel, alguns dias depois.
• Esperar resultado na mesma semana. O efeito do treino aparece na geração seguinte de modelos, quando aparece.

O que isso significa para o seu negócio

O episódio rendeu uma lição que vale mais que a configuração: o site de uma empresa tem camadas que ninguém da empresa escreveu. O serviço de hospedagem, o serviço de proteção e as ferramentas instaladas ao longo dos anos tomam decisões em nome do dono, e algumas delas contradizem o que a empresa quer. Nós vendemos visibilidade em IA e passamos meses com uma placa de “proibida a entrada” para as IAs na porta.

Conferir leva dois minutos e não custa nada. Se você encontrou algo estranho no seu robots.txt e não sabe se deve mexer, a nossa equipe de SEO e otimização para respostas de IA faz essa auditoria: lê o arquivo, o painel de quem protege o site e o que cada IA responde hoje sobre a sua empresa, e entrega a lista do que mudar.

Fontes

• Arquivo robots.txt e painel AI Crawl Control da Cloudflare do site da Agência Primeira Página, lidos em 11 de novembro de 2026.
• Cloudflare, comunicado de 1º de julho de 2025 sobre o bloqueio de robôs de IA por padrão.
• Cloudflare, blog, “Control content use for AI training” (1º de julho de 2025), com os dados dos 10 mil maiores domínios.
• Cloudflare, blog, “Content Signals Policy” (24 de setembro de 2025).
• Cloudflare, documentação do robots.txt gerenciado e do AI Crawl Control.
• OpenAI, documentação dos robôs (GPTBot, OAI-SearchBot e ChatGPT-User).
• Anthropic, central de ajuda, descrição de ClaudeBot, Claude-User e Claude-SearchBot.
• Google, documentação dos rastreadores, verbete Google-Extended.
• IETF, RFC 9309, Robots Exclusion Protocol.