Treino de IA
Coletam páginas que podem treinar modelos. Bloqueá-los tira o conteúdo futuro dos dados de treino.
9 crawlers28 crawlers de IA da OpenAI, Anthropic, Google, Perplexity e outros: o que cada um faz, o user agent e a regra de robots.txt para permitir ou bloquear.
Conferido na documentação de cada operador em 17 de nov de 2026
| Crawler | Usado para |
|---|---|
| OAI-AdsBotOpenAI | Outro |
| Outro |
A maioria das empresas de IA tem crawlers separados. Bloqueie o tipo que você não quer e mantenha o resto.
Coletam páginas que podem treinar modelos. Bloqueá-los tira o conteúdo futuro dos dados de treino.
9 crawlersMontam o índice que as respostas de IA consultam e citam. Bloqueá-los pode tirar você dessas respostas.
9 crawlersBuscam uma página quando uma pessoa pede. Os operadores dizem que o robots.txt pode nem sempre valer.
8 crawlersO conjunto de regras que a maioria dos sites pede. Bloqueia todo crawler de treino e token de controle deste diretório e deixa em paz os de busca e os acionados pelo usuário.
User-agent: GPTBot User-agent: ClaudeBot User-agent: Google-Extended User-agent: Applebot-Extended User-agent: meta-externalagent User-agent: Amazonbot User-agent: MistralAI-Training User-agent: CCBot User-agent: AI2Bot Disallow: /
O que são os bots e como controlá-los.
Bots de empresas de IA que buscam páginas web. Alguns coletam páginas que podem treinar modelos (GPTBot, ClaudeBot), outros montam o índice que as respostas de busca com IA citam (OAI-SearchBot, PerplexityBot) e outros buscam uma página quando uma pessoa pede (ChatGPT-User).
Com o robots.txt: uma linha “User-agent:” com o token do bot e “Disallow: /”. Cada página de bot traz as regras de bloquear e permitir para copiar, e o verificador de bots de IA mostra o que o seu arquivo atual faz.
Os operadores listados aqui dizem que seus crawlers seguem o robots.txt. Vários dizem que os buscadores acionados pelo usuário podem não seguir, porque uma pessoa pediu a página. Cada página de bot cita o que o operador documenta.
Tokens de controle, não crawlers. Eles nunca visitam o seu site; decidem se páginas que o Googlebot ou o Applebot já buscaram podem ser usadas para treino de IA (e, no Google-Extended, para fundamentar respostas no Gemini). Não mudam os resultados de busca.
User agents podem ser falsificados. A maioria dos operadores publica faixas de IP (com link em cada página de bot) ou aceita checagem por DNS reverso. Compare o IP do pedido com elas antes de confiar no user agent.
Cada bot é conferido na documentação do próprio operador, com a data mostrada, e a lista é revisada a cada trimestre. Bots sem fonte primária não entram.
Veja se o GPTBot, o ClaudeBot e outros conseguem acessar seu site.
Ferramenta grátisValide o llms.txt de qualquer site de acordo com o formato.
DiretórioO que os crawlers da OpenAI fazem e como controlá-los.
RastreadorVeja se o Perplexity cita e menciona você.
As perguntas dos seus compradores em oito motores de IA, na sua agenda, com histórico. Grátis por 7 dias.