Comprueba qué bots de IA pueden rastrear tu sitio

Escribe tu dominio y leemos su robots.txt para mostrarte qué crawlers de IA, como GPTBot, ClaudeBot y PerplexityBot, están permitidos o bloqueados. Gratis, sin registro.

Gratis · 60 revisiones al día · solo lee el robots.txt, sin IA

Qué muestra una revisión de bots de IA

Un ejemplo para brightlane.com, una marca ficticia de facturación que bloquea el entrenamiento de IA pero no la búsqueda con IA.

brightlane.comrobots.txt · 412 bytes · 16 de nov. robots.txt leído

22 de 28 crawlers de IA pueden llegar a /

CrawlerEstadoRegla que decide
GPTBotEntrenamiento de IA Bloqueado Disallow: /
OAI-SearchBotBúsqueda con IA Permitido Ninguna regla coincide
ClaudeBotEntrenamiento de IA Bloqueado Disallow: /
PerplexityBotBúsqueda con IA Permitido Ninguna regla coincide
  1. 1

    Una línea por crawler

    Permitido, bloqueado en parte o bloqueado, para la ruta exacta que escribiste, con para qué sirve cada bot.

  2. 2

    La regla que decide

    La línea del robots.txt que gana para ese bot, con su número de línea, para que sepas qué editar.

  3. 3

    Agrupado por finalidad

    Crawlers de entrenamiento, de búsqueda con IA y activados por el usuario, para bloquear un tipo y mantener los demás.

Cómo funciona

Leemos un archivo público y aplicamos el Robots Exclusion Protocol como lo hacen los crawlers.

  1. 1

    Escribe un dominio o una URL

    Un dominio revisa la página de inicio; una URL completa revisa esa ruta, como /blog/articulo.

    brightlane.com/blog
  2. 2

    Descargamos el robots.txt

    Como AnswerHawkBot, desde https://dominio/robots.txt, siguiendo hasta cinco redirecciones como indica la RFC 9309.

    GET /robots.txt · 200
  3. 3

    Comparamos cada crawler

    Su propio grupo User-agent si lo hay, si no “*”. Gana la regla coincidente más larga.

    User-agent: GPTBot
  4. 4

    Ves quién entra

    Todos los crawlers de nuestro directorio, con su estado, la línea que decide y para qué sirven.

    Permitido Bloqueado

Qué hacer con el resultado

Bloquear es una decisión de negocio. Estas son las tres situaciones habituales.

Todos permitidos Entrenamiento de IA Búsqueda con IA A petición del usuario

Todos los crawlers de IA pueden entrar

Los crawlers de búsqueda pueden indexarte y los de entrenamiento pueden recoger tus páginas.

Qué hacer Si el entrenamiento no te molesta, nada que hacer. Si te molesta, bloquea los bots de entrenamiento y deja los de búsqueda.

Ver todos los crawlers de IA
Mixto Entrenamiento de IA Búsqueda con IA A petición del usuario

Entrenamiento bloqueado, búsqueda permitida

El punto medio habitual: GPTBot o ClaudeBot fuera, OAI-SearchBot y PerplexityBot dentro.

Qué hacer Comprueba que los crawlers de búsqueda que te importan estén permitidos y sigue si las respuestas de IA te citan.

Sigue las respuestas de ChatGPT
Todos bloqueados Entrenamiento de IA Búsqueda con IA A petición del usuario

Crawlers de búsqueda con IA bloqueados

OAI-SearchBot, PerplexityBot o Claude-SearchBot no pueden descargar tus páginas, así que sus respuestas no pueden citarlas.

Qué hacer Si no fue a propósito, quita la regla o un Disallow en “User-agent: *” y vuelve a revisar.

Lee sobre GPTBot

Reglas de robots.txt para crawlers de IA

Tres opciones habituales. Pega el bloque en tu robots.txt y vuelve a revisar.

Bloquear el entrenamiento, seguir en la búsqueda con IA

Los crawlers de entrenamiento y los tokens de control quedan bloqueados. Los de búsqueda y los activados por el usuario siguen entrando, así que las respuestas de IA aún pueden citarte.

robots.txt
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: Amazonbot
User-agent: MistralAI-Training
User-agent: CCBot
User-agent: AI2Bot
Disallow: /

Permitir todos los crawlers de IA

Todos los crawlers de IA de nuestro directorio pueden descargar todo. Es lo mismo que no tener reglas para ellos.

robots.txt
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: OAI-AdsBot
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: Google-Extended
User-agent: Google-CloudVertexBot
User-agent: Google-GeminiNotebook
User-agent: Google-Agent
User-agent: Applebot
User-agent: Applebot-Extended
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-externalagent
User-agent: meta-webindexer
User-agent: meta-externalfetcher
User-agent: Amazonbot
User-agent: Amzn-SearchBot
User-agent: Amzn-User
User-agent: MistralAI-Training
User-agent: MistralAI-Index
User-agent: MistralAI-User
User-agent: CCBot
User-agent: DuckAssistBot
User-agent: AI2Bot
Allow: /

Bloquear todos los crawlers de IA

Todos los crawlers de IA de nuestro directorio quedan bloqueados, salvo Googlebot (también hace funcionar la Búsqueda de Google).

robots.txt
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: OAI-AdsBot
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: Google-Extended
User-agent: Google-CloudVertexBot
User-agent: Google-GeminiNotebook
User-agent: Google-Agent
User-agent: Applebot
User-agent: Applebot-Extended
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-externalagent
User-agent: meta-webindexer
User-agent: meta-externalfetcher
User-agent: Amazonbot
User-agent: Amzn-SearchBot
User-agent: Amzn-User
User-agent: MistralAI-Training
User-agent: MistralAI-Index
User-agent: MistralAI-User
User-agent: CCBot
User-agent: DuckAssistBot
User-agent: AI2Bot
Disallow: /

¿Qué es GPTBot y qué crawlers de IA importan?

GPTBot es el crawler de OpenAI que recoge páginas que pueden entrenar sus modelos. OpenAI tiene dos más: OAI-SearchBot, que muestra sitios en la búsqueda de ChatGPT, y ChatGPT-User, que descarga una página cuando una persona lo pide.

La mayoría de las empresas de IA separan hoy sus crawlers igual: uno para entrenamiento, otro para búsqueda y otro para peticiones de usuarios. Bloquear el de entrenamiento no bloquea el de búsqueda, y es el de búsqueda el que permite que las respuestas te citen.

El robots.txt es una petición, no un muro: los operadores de abajo dicen que sus crawlers lo siguen, y algunos dicen que las reglas pueden no aplicarse a las descargas pedidas por usuarios. Los firewalls y las CDN también bloquean bots, y eso el robots.txt no lo muestra. Explora el directorio de crawlers de IA.

Tres tipos de crawler de IA
Entrenamiento de IA
Recogen páginas que pueden entrenar modelos. Bloquearlos deja tu contenido futuro fuera de los datos de entrenamiento. GPTBot, ClaudeBot, Google-Extended
Búsqueda con IA
Crean el índice que consultan y citan las respuestas de IA. Bloquearlos puede dejarte fuera de esas respuestas. OAI-SearchBot, PerplexityBot, Claude-SearchBot
A petición del usuario
Descargan una página cuando una persona lo pide. Los operadores dicen que el robots.txt puede no aplicarse siempre. ChatGPT-User, Claude-User, Perplexity-User

Preguntas sobre el verificador de bots de IA

robots.txt, GPTBot y los demás bots de IA.

¿Cómo sé si GPTBot está bloqueado en mi sitio?

Escribe tu dominio arriba. El verificador lee tu robots.txt y muestra si GPTBot, y cualquier otro crawler de IA de nuestro directorio, está permitido o bloqueado en esa ruta, con la línea que lo decide.

¿Cuál es el user agent de GPTBot?

OpenAI lo documenta como “Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot”. El número de versión cambia; en robots.txt solo escribes “User-agent: GPTBot”.

¿Cómo bloqueo crawlers de IA en robots.txt?

Añade un grupo por crawler: “User-agent: GPTBot” y “Disallow: /” en la línea siguiente. Copia uno de los conjuntos de reglas de esta página: bloquear solo el entrenamiento o bloquear todos los crawlers de IA.

Si bloqueo GPTBot, ¿desaparezco de ChatGPT?

No de la búsqueda de ChatGPT: OpenAI dice que GPTBot es para entrenamiento y que OAI-SearchBot es el que muestra sitios en la búsqueda de ChatGPT. Bloquea GPTBot y deja OAI-SearchBot para quedar fuera del entrenamiento y dentro de la búsqueda.

¿Por qué sale “permitido” si los bots no llegan a mi sitio?

El robots.txt es solo una capa. Un firewall, la protección contra bots de la CDN o un inicio de sesión pueden bloquear crawlers diga lo que diga el robots.txt. El verificador solo lee el robots.txt.

¿Este verificador usa IA?

No. Lee un archivo público y aplica el Robots Exclusion Protocol (RFC 9309). Es gratis, 60 revisiones al día, y el resultado se guarda 24 horas en un enlace para compartir.

Los archivos son el comienzo. Las respuestas, el resultado.

Las preguntas de tus compradores en ocho motores de IA, en tu calendario y con historial. Gratis durante 7 días.