User agent e regras de robots.txt do ClaudeBot

O ClaudeBot é o crawler da Anthropic para conteúdo da web que pode ser usado no treino dos seus modelos. Bloqueá-lo tira o seu conteúdo futuro dos dados de treino da Anthropic.

Treino de IA Segue o robots.txt Anthropic

User agent

A Anthropic documenta só o nome: os pedidos contêm “ClaudeBot”.

Regras de robots.txt para o ClaudeBot

Cole um dos blocos no robots.txt na raiz do seu domínio. A mudança pode levar até um dia para ser lida.

Bloquear o ClaudeBot

Bloqueia todos os caminhos para o ClaudeBot. Isso tira suas páginas futuras do que A Anthropic pode usar para treino. Não muda resultados de busca.

robots.txt
User-agent: ClaudeBot
Disallow: /

Permitir o ClaudeBot

Deixa o ClaudeBot buscar todos os caminhos, diga o que disser o “User-agent: *”.

robots.txt
User-agent: ClaudeBot
Allow: /

Bom saber

O ClaudeBot também respeita a diretiva não padrão Crawl-delay. A Anthropic desaconselha bloquear por IP, porque isso pode impedir o bot de ler o seu robots.txt.

Perguntas sobre o ClaudeBot

O que é o ClaudeBot?

O ClaudeBot é o crawler da Anthropic para conteúdo da web que pode ser usado no treino dos seus modelos. Bloqueá-lo tira o seu conteúdo futuro dos dados de treino da Anthropic.

Como bloqueio o ClaudeBot?

Acrescente “User-agent: ClaudeBot” e “Disallow: /” ao seu robots.txt. Isso tira suas páginas futuras do que A Anthropic pode usar para treino. Não muda resultados de busca.

O ClaudeBot respeita o robots.txt?

Sim. A Anthropic diz que o ClaudeBot segue as regras do robots.txt escritas para ele.

Qual é o user agent do ClaudeBot?

A Anthropic documenta o nome “ClaudeBot”, que aparece nos pedidos.

Como confirmo pedidos do ClaudeBot?

Compare o IP do pedido com a lista publicada da Anthropic (https://claude.com/crawling/bots.json). Só o user agent pode ser falsificado.

Fonte: support.claude.com, conferida em 17 de nov de 2026. Diretório de crawlers de IA

Arquivos são o começo. Respostas são o resultado.

As perguntas dos seus compradores em oito motores de IA, na sua agenda, com histórico. Grátis por 7 dias.