User agent e regras de robots.txt do CCBot

O CCBot é o crawler da Common Crawl. Ele monta um arquivo aberto da web que é grátis para baixar e muito usado como dado de treino de IA.

Treino de IA Segue o robots.txt Common Crawl

User agent

Como na documentação da Common Crawl. O número da versão muda; compare pelo token.

User agent
CCBot/2.0 (https://commoncrawl.org/faq/)

Regras de robots.txt para o CCBot

Cole um dos blocos no robots.txt na raiz do seu domínio. A mudança pode levar até um dia para ser lida.

Bloquear o CCBot

Bloqueia todos os caminhos para o CCBot. Isso tira suas páginas futuras do que A Common Crawl pode usar para treino. Não muda resultados de busca.

robots.txt
User-agent: CCBot
Disallow: /

Permitir o CCBot

Deixa o CCBot buscar todos os caminhos, diga o que disser o “User-agent: *”.

robots.txt
User-agent: CCBot
Allow: /

Bom saber

Às vezes outros falsificam o user agent dele. A Common Crawl publica suas faixas de IP e aceita DNS reverso em crawl.commoncrawl.org.

Perguntas sobre o CCBot

O que é o CCBot?

O CCBot é o crawler da Common Crawl. Ele monta um arquivo aberto da web que é grátis para baixar e muito usado como dado de treino de IA.

Como bloqueio o CCBot?

Acrescente “User-agent: CCBot” e “Disallow: /” ao seu robots.txt. Isso tira suas páginas futuras do que A Common Crawl pode usar para treino. Não muda resultados de busca.

O CCBot respeita o robots.txt?

Sim. A Common Crawl diz que o CCBot segue as regras do robots.txt escritas para ele.

Qual é o user agent do CCBot?

A Common Crawl documenta como “CCBot/2.0 (https://commoncrawl.org/faq/)”. O número da versão muda, então compare por “CCBot”.

Como confirmo pedidos do CCBot?

Compare o IP do pedido com a lista publicada da Common Crawl (https://index.commoncrawl.org/ccbot.json). Só o user agent pode ser falsificado.

Fonte: commoncrawl.org, conferida em 17 de nov de 2026. Diretório de crawlers de IA

Arquivos são o começo. Respostas são o resultado.

As perguntas dos seus compradores em oito motores de IA, na sua agenda, com histórico. Grátis por 7 dias.