Veja quais bots de IA podem rastrear seu site

Digite seu domínio e lemos o robots.txt para mostrar quais crawlers de IA, como GPTBot, ClaudeBot e PerplexityBot, estão permitidos ou bloqueados. Grátis, sem cadastro.

Grátis · 60 verificações por dia · lê só o robots.txt, sem IA

O que a verificação de bots de IA mostra

Um exemplo para brightlane.com, uma marca fictícia de faturamento que bloqueia o treino de IA, mas não a busca com IA.

brightlane.comrobots.txt · 412 bytes · 16 de nov robots.txt lido

22 de 28 crawlers de IA podem acessar /

CrawlerStatusRegra que decide
GPTBotTreino de IA Bloqueado Disallow: /
OAI-SearchBotBusca com IA Permitido Nenhuma regra casa
ClaudeBotTreino de IA Bloqueado Disallow: /
PerplexityBotBusca com IA Permitido Nenhuma regra casa
  1. 1

    Uma linha por crawler

    Permitido, bloqueado em parte ou bloqueado, para o caminho exato que você digitou, com a finalidade de cada bot.

  2. 2

    A regra que decide

    A linha do robots.txt que vence para aquele bot, com o número da linha, para você saber o que editar.

  3. 3

    Agrupado por finalidade

    Crawlers de treino, de busca com IA e acionados pelo usuário, para você bloquear um tipo e manter os outros.

Como funciona

Lemos um arquivo público e aplicamos o Robots Exclusion Protocol do jeito que os crawlers aplicam.

  1. 1

    Digite um domínio ou URL

    Um domínio verifica a página inicial; uma URL completa verifica aquele caminho, como /blog/post.

    brightlane.com/blog
  2. 2

    Buscamos o robots.txt

    Como AnswerHawkBot, em https://dominio/robots.txt, seguindo até cinco redirecionamentos, como diz a RFC 9309.

    GET /robots.txt · 200
  3. 3

    Comparamos cada crawler

    O grupo User-agent dele, se houver, senão “*”. A regra que casa mais longa vence.

    User-agent: GPTBot
  4. 4

    Você vê quem entra

    Todos os crawlers do nosso diretório, com o status, a linha que decide e para que servem.

    Permitido Bloqueado

O que fazer com o resultado

Bloquear é uma decisão de negócio. Estas são as três situações mais comuns.

Todos permitidos Treino de IA Busca com IA A pedido do usuário

Todo crawler de IA pode entrar

Os crawlers de busca podem indexar você e os de treino podem coletar suas páginas.

O que fazer Se o treino não incomoda, nada a fazer. Se incomoda, bloqueie os bots de treino e mantenha os de busca.

Veja todos os crawlers de IA
Misto Treino de IA Busca com IA A pedido do usuário

Treino bloqueado, busca liberada

O meio-termo comum: GPTBot ou ClaudeBot fora, OAI-SearchBot e PerplexityBot dentro.

O que fazer Confira se os crawlers de busca que importam estão liberados e acompanhe se as respostas de IA citam você.

Acompanhe as respostas do ChatGPT
Todos bloqueados Treino de IA Busca com IA A pedido do usuário

Crawlers de busca com IA bloqueados

OAI-SearchBot, PerplexityBot ou Claude-SearchBot não conseguem buscar suas páginas, então as respostas deles não podem citá-las.

O que fazer Se não foi de propósito, tire a regra ou um Disallow em “User-agent: *” e verifique de novo.

Leia sobre o GPTBot

Regras de robots.txt para crawlers de IA

Três escolhas comuns. Cole o bloco no seu robots.txt e verifique de novo.

Bloquear o treino, ficar na busca com IA

Crawlers de treino e tokens de controle ficam bloqueados. Os de busca e os acionados pelo usuário continuam com acesso, então as respostas de IA ainda podem citar você.

robots.txt
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: Amazonbot
User-agent: MistralAI-Training
User-agent: CCBot
User-agent: AI2Bot
Disallow: /

Permitir todos os crawlers de IA

Todo crawler de IA do nosso diretório pode buscar tudo. O mesmo que não ter regra para eles.

robots.txt
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: OAI-AdsBot
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: Google-Extended
User-agent: Google-CloudVertexBot
User-agent: Google-GeminiNotebook
User-agent: Google-Agent
User-agent: Applebot
User-agent: Applebot-Extended
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-externalagent
User-agent: meta-webindexer
User-agent: meta-externalfetcher
User-agent: Amazonbot
User-agent: Amzn-SearchBot
User-agent: Amzn-User
User-agent: MistralAI-Training
User-agent: MistralAI-Index
User-agent: MistralAI-User
User-agent: CCBot
User-agent: DuckAssistBot
User-agent: AI2Bot
Allow: /

Bloquear todos os crawlers de IA

Todo crawler de IA do nosso diretório fica bloqueado, menos o Googlebot (ele também faz a Busca do Google).

robots.txt
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: OAI-AdsBot
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: Google-Extended
User-agent: Google-CloudVertexBot
User-agent: Google-GeminiNotebook
User-agent: Google-Agent
User-agent: Applebot
User-agent: Applebot-Extended
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-externalagent
User-agent: meta-webindexer
User-agent: meta-externalfetcher
User-agent: Amazonbot
User-agent: Amzn-SearchBot
User-agent: Amzn-User
User-agent: MistralAI-Training
User-agent: MistralAI-Index
User-agent: MistralAI-User
User-agent: CCBot
User-agent: DuckAssistBot
User-agent: AI2Bot
Disallow: /

O que é o GPTBot, e quais crawlers de IA importam?

O GPTBot é o crawler da OpenAI que coleta páginas que podem treinar os modelos dela. A OpenAI tem mais dois: o OAI-SearchBot, que mostra sites na busca do ChatGPT, e o ChatGPT-User, que busca uma página quando uma pessoa pede.

A maioria das empresas de IA hoje separa os crawlers do mesmo jeito: um para treino, um para busca, um para pedidos de usuários. Bloquear o de treino não bloqueia o de busca, e é o de busca que permite que as respostas citem você.

O robots.txt é um pedido, não um muro: os operadores abaixo dizem que seus crawlers o seguem, e alguns dizem que as regras podem não valer para buscas pedidas por usuários. Firewalls e CDNs também bloqueiam bots, e isso o robots.txt não mostra. Veja o diretório de crawlers de IA.

Três tipos de crawler de IA
Treino de IA
Coletam páginas que podem treinar modelos. Bloqueá-los tira o conteúdo futuro dos dados de treino. GPTBot, ClaudeBot, Google-Extended
Busca com IA
Montam o índice que as respostas de IA consultam e citam. Bloqueá-los pode tirar você dessas respostas. OAI-SearchBot, PerplexityBot, Claude-SearchBot
A pedido do usuário
Buscam uma página quando uma pessoa pede. Os operadores dizem que o robots.txt pode nem sempre valer. ChatGPT-User, Claude-User, Perplexity-User

Perguntas sobre o verificador de bots de IA

robots.txt, GPTBot e os outros bots de IA.

Como sei se o GPTBot está bloqueado no meu site?

Digite seu domínio acima. O verificador lê seu robots.txt e mostra se o GPTBot, e todo outro crawler de IA do nosso diretório, está permitido ou bloqueado naquele caminho, com a linha que decide.

Qual é o user agent do GPTBot?

A OpenAI documenta como “Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot”. O número da versão muda; no robots.txt você escreve só “User-agent: GPTBot”.

Como bloqueio crawlers de IA no robots.txt?

Crie um grupo por crawler: “User-agent: GPTBot” e “Disallow: /” na linha seguinte. Copie um dos conjuntos de regras desta página: bloquear só o treino ou bloquear todos os crawlers de IA.

Se eu bloquear o GPTBot, somem do ChatGPT?

Não da busca do ChatGPT: a OpenAI diz que o GPTBot é para treino e que o OAI-SearchBot é quem mostra sites na busca do ChatGPT. Bloqueie o GPTBot e mantenha o OAI-SearchBot para ficar fora do treino e dentro da busca.

Por que aparece “permitido” se os bots não chegam ao meu site?

O robots.txt é só uma camada. Um firewall, a proteção contra bots da CDN ou um login podem bloquear crawlers, diga o que disser o robots.txt. O verificador lê só o robots.txt.

Este verificador usa IA?

Não. Ele lê um arquivo público e aplica o Robots Exclusion Protocol (RFC 9309). É grátis, 60 verificações por dia, e o resultado fica salvo por 24 horas em um link compartilhável.

Arquivos são o começo. Respostas são o resultado.

As perguntas dos seus compradores em oito motores de IA, na sua agenda, com histórico. Grátis por 7 dias.