Diretório de crawlers de IA

28 crawlers de IA da OpenAI, Anthropic, Google, Perplexity e outros: o que cada um faz, o user agent e a regra de robots.txt para permitir ou bloquear.

Conferido na documentação de cada operador em 17 de nov de 2026

Crawler Usado para robots.txt Token no robots.txt
GPTBotOpenAI Treino de IA Segue o robots.txt GPTBot
ClaudeBotAnthropic Treino de IA Segue o robots.txt ClaudeBot
Google-ExtendedGoogle Treino de IA Só token de controle Google-Extended
Applebot-ExtendedApple Treino de IA Só token de controle Applebot-Extended
Meta-ExternalAgentMeta Treino de IA Segue o robots.txt meta-externalagent
AmazonbotAmazon Treino de IA Segue o robots.txt Amazonbot
MistralAI-TrainingMistral AI Treino de IA Segue o robots.txt MistralAI-Training
CCBotCommon Crawl Treino de IA Segue o robots.txt CCBot
AI2BotAi2 Treino de IA Não documentado AI2Bot

Crawlers de treino, de busca e acionados pelo usuário

A maioria das empresas de IA tem crawlers separados. Bloqueie o tipo que você não quer e mantenha o resto.

GPTBot ClaudeBot Google-Extended

Treino de IA

Coletam páginas que podem treinar modelos. Bloqueá-los tira o conteúdo futuro dos dados de treino.

9 crawlers
OAI-SearchBot Claude-SearchBot Googlebot

Busca com IA

Montam o índice que as respostas de IA consultam e citam. Bloqueá-los pode tirar você dessas respostas.

9 crawlers
ChatGPT-User Claude-User Google-GeminiNotebook

A pedido do usuário

Buscam uma página quando uma pessoa pede. Os operadores dizem que o robots.txt pode nem sempre valer.

8 crawlers

Bloquear o treino de IA, ficar na busca com IA

O conjunto de regras que a maioria dos sites pede. Bloqueia todo crawler de treino e token de controle deste diretório e deixa em paz os de busca e os acionados pelo usuário.

Veja quais bots de IA podem rastrear seu site

robots.txt
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: Amazonbot
User-agent: MistralAI-Training
User-agent: CCBot
User-agent: AI2Bot
Disallow: /

Perguntas sobre crawlers de IA

O que são os bots e como controlá-los.

O que são crawlers de IA?

Bots de empresas de IA que buscam páginas web. Alguns coletam páginas que podem treinar modelos (GPTBot, ClaudeBot), outros montam o índice que as respostas de busca com IA citam (OAI-SearchBot, PerplexityBot) e outros buscam uma página quando uma pessoa pede (ChatGPT-User).

Como bloqueio crawlers de IA?

Com o robots.txt: uma linha “User-agent:” com o token do bot e “Disallow: /”. Cada página de bot traz as regras de bloquear e permitir para copiar, e o verificador de bots de IA mostra o que o seu arquivo atual faz.

Os crawlers de IA respeitam o robots.txt?

Os operadores listados aqui dizem que seus crawlers seguem o robots.txt. Vários dizem que os buscadores acionados pelo usuário podem não seguir, porque uma pessoa pediu a página. Cada página de bot cita o que o operador documenta.

O que são Google-Extended e Applebot-Extended?

Tokens de controle, não crawlers. Eles nunca visitam o seu site; decidem se páginas que o Googlebot ou o Applebot já buscaram podem ser usadas para treino de IA (e, no Google-Extended, para fundamentar respostas no Gemini). Não mudam os resultados de busca.

Como confirmo que um pedido vem mesmo de um crawler de IA?

User agents podem ser falsificados. A maioria dos operadores publica faixas de IP (com link em cada página de bot) ou aceita checagem por DNS reverso. Compare o IP do pedido com elas antes de confiar no user agent.

Com que frequência esta lista é atualizada?

Cada bot é conferido na documentação do próprio operador, com a data mostrada, e a lista é revisada a cada trimestre. Bots sem fonte primária não entram.

Arquivos são o começo. Respostas são o resultado.

As perguntas dos seus compradores em oito motores de IA, na sua agenda, com histórico. Grátis por 7 dias.