Tu web puede estar prohibiendo ChatGPT sin que lo sepas

Nuestra agencia vende un servicio para que las empresas sean citadas por las inteligencias artificiales. El 11 de noviembre de 2026 abrimos el archivo de reglas de nuestra propia web y mandaba a los robots de ChatGPT, Claude y Gemini a quedarse fuera. La orden no la habíamos escrito nosotros: estaba en un bloque que Cloudflare coloca al principio del archivo. A continuación, lo que encontramos, cómo revisar tu web en dos minutos y cómo decidir si conviene liberar el acceso.

Lo que encontramos en nuestra web

Toda web puede tener un archivo llamado robots.txt. Es una nota en la puerta, dirigida a los robots que leen internet: “puedes entrar”, “no puedes entrar”. El nuestro tenía dos notas, una contradiciendo a la otra.

La primera empezaba con la línea “BEGIN Cloudflare Managed content” y ponía Disallow: / (no entres en ninguna página) para una lista de robots: GPTBot, ClaudeBot, Google-Extended, CCBot, Applebot-Extended, Amazonbot, Bytespider, meta-externalagent y más de veinte otros. Justo debajo venía el bloque que escribimos nosotros, con Allow: / (puedes entrar) para GPTBot, ClaudeBot, Google-Extended y CCBot. Los mismos nombres, con órdenes opuestas, en el mismo archivo.

El panel de Cloudflare mostraba el resultado práctico de los siete días anteriores:

• ClaudeBot (Anthropic): 0 accesos permitidos, 273 sin éxito.
• GPTBot (OpenAI): 0 permitidos, 201 sin éxito.
• CCBot (Common Crawl): 0 permitidos, 207 sin éxito.
• Bytespider y Amazonbot: 0 permitidos, 199 y 193 sin éxito.

En el mismo período, los robots de búsqueda de las IA pasaban con normalidad: 202 accesos permitidos de PerplexityBot, 174 de OAI-SearchBot y 109 de Claude-SearchBot. Esa diferencia es el centro de la historia, y la explicación está en la próxima sección.

Una salvedad honesta: “sin éxito” en el panel incluye cualquier solicitud que no terminó bien, como una página que no existe. El número por sí solo no prueba un bloqueo. Lo que llama la atención es el cero en la columna de permitidos, para todos los robots de la lista prohibida y solo para ellos.

Tres tipos de robot de IA, tres consecuencias distintas

“Robot de IA” no es una sola cosa. Cada empresa usa al menos tres, con funciones separadas, y prohibir uno no prohíbe los otros. La documentación de OpenAI y la de Anthropic lo describen así:

• Robot de entrenamiento (GPTBot, ClaudeBot, CCBot). Lee las páginas para que el contenido pueda entrar en el entrenamiento de los próximos modelos. Prohibirlo significa pedir que tu material quede fuera de ese entrenamiento.
• Robot de búsqueda (OAI-SearchBot, Claude-SearchBot, PerplexityBot). Construye el índice que la IA consulta cuando busca en internet. OpenAI es directa: un sitio que prohíbe a OAI-SearchBot no aparece en las respuestas de búsqueda de ChatGPT, aunque todavía puede surgir como enlace de navegación.
• Robot a petición del usuario (ChatGPT-User, Claude-User, Perplexity-User). Abre una página concreta cuando alguien le pide a la IA que lea esa dirección. OpenAI avisa de que, al tratarse de una acción iniciada por una persona, las reglas del robots.txt pueden no aplicarse a él.

Google tiene un caso propio. Google-Extended no es un robot, es un nombre que se usa solo en el robots.txt para indicar si el contenido puede entrenar a Gemini y servir de base para sus respuestas. La documentación de Google afirma que ese nombre no afecta a la inclusión del sitio en la búsqueda ni se usa como señal de posicionamiento. Prohibir Google-Extended no te hace caer en Google, y liberarlo tampoco te hace subir.

En nuestro caso, la lista prohibida era la de los robots de entrenamiento. Los de búsqueda nunca estuvieron en ella, y por eso seguían entrando. Si tu temor es “desaparecí de ChatGPT”, lo primero que hay que mirar es si OAI-SearchBot está liberado. Explicamos el camino completo en el artículo sobre cómo aparecer en ChatGPT y en otras IA.

Cómo llegó la orden hasta ahí

Cloudflare es un servicio que se coloca delante de la web: la acelera, la protege contra ataques y, desde 2024, ofrece controles sobre los robots de IA. La cronología, según los comunicados de la propia empresa:

• Septiembre de 2024: aparece la opción de bloquear robots de IA con un clic. Más de un millón de clientes eligieron esa opción.
• 1 de julio de 2025: la empresa anuncia que pasa a bloquear por defecto los robots de IA que acceden a contenido sin permiso o pago, y que a todo dominio nuevo se le preguntará, al registrarse, si quiere permitir esos robots. El mismo día lanza el robots.txt gestionado, disponible en todos los planes, incluido el gratuito.
• 24 de septiembre de 2025: Cloudflare informa de que el robots.txt gestionado está activo en más de 3,8 millones de dominios y empieza a incluir en ellos la línea Content-Signal: search=yes, ai-train=no, que quiere decir “puedes usarlo en la búsqueda, no puedes usarlo para entrenar”.

La documentación dice que la función no viene activada: alguien tiene que encender el interruptor “Enable Bot Preference Sync”. En nuestra agencia nadie recuerda haberlo activado. Lo más probable es que fuera una de esas pantallas de configuración en las que la respuesta sugerida es la protección y la aceptamos sin leer hasta el final. Por eso el título habla de “sin que lo sepas”: la elección existe, pero se hace con un clic de un segundo, por alguien que está pensando en otra cosa.

Conviene decir que la intención de Cloudflare es defendible. La empresa argumenta que las IA leen mucho y devuelven pocas visitas, y quiere que quien produce contenido pueda cobrar por ello. Para un periódico tiene todo el sentido. Para un pequeño negocio que quiere ser encontrado, la cuenta suele ser otra.

Revisa tu web en 2 minutos

1. En el navegador, escribe la dirección de tu web seguida de /robots.txt. Ejemplo: www.tuempresa.com/robots.txt.
2. Busca “Cloudflare Managed”. Si aparece, hay un bloque que no escribiste tú.
3. Busca “GPTBot”, “ClaudeBot” y “Google-Extended”. Mira qué viene en la línea de abajo: Disallow: / prohíbe todo el sitio, Allow: / lo libera.
4. Busca “OAI-SearchBot” y “PerplexityBot”. Si alguno tiene Disallow: /, el problema es más serio, porque esos son los robots de búsqueda.
5. Si el mismo nombre aparece dos veces con órdenes opuestas, tienes el defecto que teníamos nosotros.

Sobre la orden doble: la norma técnica del robots.txt (RFC 9309) manda juntar las reglas repetidas para el mismo robot y, en caso de empate, usar la más permisiva. Pero seguir el robots.txt es voluntario, y no todos los robots interpretan el empate de la misma forma. Un archivo contradictorio es una apuesta; un archivo limpio es una certeza.

Si tu web no usa Cloudflare, la prueba es la misma. Cualquier servicio que se coloque delante de la web, o cualquier persona que haya trabajado en ella, puede haber dejado una prohibición ahí.

Dónde desactivarlo si tu web usa Cloudflare

En nuestro panel la prohibición estaba en dos lugares, y hubo que tocar los dos:

1. AI Crawl Control → Overview → “Enable Bot Preference Sync”. Ese interruptor es el que escribe el bloque al principio del robots.txt. Desactivado, el archivo vuelve a ser solo tuyo.
2. Security → Settings → Bot traffic → “AI Crawler and Agent access policies”. Son tres filas: Search (búsqueda), Training (entrenamiento) y Agents (robots a petición del usuario). Cada una acepta “Allow”, “Disallow” (lo pide en el robots.txt), “Block on pages with ads” (bloquea solo donde haya anuncios) o “Block” (bloquea de verdad). La nuestra tenía Search en Allow, Training en Disallow y Agents en Block on pages with ads.

Pasamos las tres a “Allow” y comprobamos el archivo en línea: el bloque de Cloudflare había desaparecido. Minutos después, ClaudeBot registró el primer acceso permitido de la semana. GPTBot y CCBot todavía no habían vuelto cuando publicamos; OpenAI informa de que sus sistemas pueden tardar cerca de 24 horas en ajustarse a un cambio en el robots.txt.

Un aviso: esos nombres de menú cambian con frecuencia. Si no los encuentras, busca “AI” en el buscador del panel.

¿Liberar o mantener el bloqueo? El criterio

No existe una respuesta única. La pregunta que decide es: ¿tu contenido es el producto o es el escaparate?

Mantén bloqueados los robots de entrenamiento si el contenido es lo que vendes: portal de noticias, curso, banco de imágenes, material didáctico, texto literario. En esos casos, entrar en el entrenamiento de un modelo es regalar lo que paga las facturas. Hay un debate jurídico en curso sobre esto, que resumimos en el artículo sobre entrenar IA con obras protegidas.

Libera el acceso si el contenido existe para atraer clientes: la panadería que explica cómo encargar una tarta, la clínica que describe sus tratamientos, la asesoría contable que publica dudas de autónomos. Nadie paga por leer esas páginas. Existen para que la empresa sea encontrada, y una IA que conoce tu negocio es un lugar más donde eso puede ocurrir.

En cualquier caso, no bloquees los robots de búsqueda (OAI-SearchBot, Claude-SearchBot, PerplexityBot), a menos que la decisión sea realmente quedarte fuera de las respuestas de las IA.

La ganancia de liberar el entrenamiento es pequeña y lenta. Los modelos se entrenan cada cierto tiempo, y ninguna empresa promete que tu web entre ni que vaya a ser citada por eso. Entre los 10 mil sitios más grandes del mundo, solo el 7,8% prohibía GPTBot a mediados de 2025, según Cloudflare: la gran mayoría ya estaba liberada, y eso no los hizo famosos en las IA. Liberar quita un obstáculo. Lo que hace que la IA hable bien de una empresa sigue siendo lo que describimos en lo que la IA dice sobre tu empresa: web clara, fichas correctas, reseñas respondidas.

Lo que no sirve

• Creer que el robots.txt es un candado. Es una petición. La propia Cloudflare escribe que las señales de contenido “no son contramedidas técnicas” y que algunas empresas pueden ignorarlas. Quien necesita bloquear de verdad usa el bloqueo en el firewall.
• Escribir “Allow” debajo de un “Disallow” y dar el asunto por resuelto. Fue nuestro error. El archivo que vale es el que está en línea, y puede tener fragmentos que tú no escribiste.
• Probar haciéndote pasar por el robot. Cambiar la identificación del navegador a “GPTBot” no prueba nada: Cloudflare comprueba la dirección de origen del robot verdadero. La prueba que vale es la columna de accesos permitidos del panel, unos días después.
• Esperar resultados en la misma semana. El efecto del entrenamiento aparece en la siguiente generación de modelos, cuando aparece.

Qué significa esto para tu negocio

El episodio nos dejó una lección que vale más que la configuración: la web de una empresa tiene capas que nadie de la empresa escribió. El servicio de alojamiento, el servicio de protección y las herramientas instaladas a lo largo de los años toman decisiones en nombre del dueño, y algunas contradicen lo que la empresa quiere. Nosotros vendemos visibilidad en IA y pasamos meses con un cartel de “prohibida la entrada” para las IA en la puerta.

Revisarlo lleva dos minutos y no cuesta nada. Si encontraste algo raro en tu robots.txt y no sabes si debes tocarlo, nuestro equipo de SEO y optimización para respuestas de IA hace esa auditoría: lee el archivo, el panel de quien protege la web y lo que cada IA responde hoy sobre tu empresa, y te entrega la lista de lo que hay que cambiar.

Fuentes

• Archivo robots.txt y panel AI Crawl Control de Cloudflare de la web de Agência Primeira Página, leídos el 11 de noviembre de 2026.
• Cloudflare, comunicado del 1 de julio de 2025 sobre el bloqueo de robots de IA por defecto.
• Cloudflare, blog, “Control content use for AI training” (1 de julio de 2025), con los datos de los 10 mil mayores dominios.
• Cloudflare, blog, “Content Signals Policy” (24 de septiembre de 2025).
• Cloudflare, documentación del robots.txt gestionado y de AI Crawl Control.
• OpenAI, documentación de los robots (GPTBot, OAI-SearchBot y ChatGPT-User).
• Anthropic, centro de ayuda, descripción de ClaudeBot, Claude-User y Claude-SearchBot.
• Google, documentación de los rastreadores, entrada Google-Extended.
• IETF, RFC 9309, Robots Exclusion Protocol.