User agent e regras de robots.txt do CCBot
O CCBot é o crawler da Common Crawl. Ele monta um arquivo aberto da web que é grátis para baixar e muito usado como dado de treino de IA.
User agent
Como na documentação da Common Crawl. O número da versão muda; compare pelo token.
CCBot/2.0 (https://commoncrawl.org/faq/)
Regras de robots.txt para o CCBot
Cole um dos blocos no robots.txt na raiz do seu domínio. A mudança pode levar até um dia para ser lida.
Bloquear o CCBot
Bloqueia todos os caminhos para o CCBot. Isso tira suas páginas futuras do que A Common Crawl pode usar para treino. Não muda resultados de busca.
User-agent: CCBot Disallow: /
Permitir o CCBot
Deixa o CCBot buscar todos os caminhos, diga o que disser o “User-agent: *”.
User-agent: CCBot Allow: /
Bom saber
Às vezes outros falsificam o user agent dele. A Common Crawl publica suas faixas de IP e aceita DNS reverso em crawl.commoncrawl.org.
Perguntas sobre o CCBot
O que é o CCBot?
O CCBot é o crawler da Common Crawl. Ele monta um arquivo aberto da web que é grátis para baixar e muito usado como dado de treino de IA.
Como bloqueio o CCBot?
Acrescente “User-agent: CCBot” e “Disallow: /” ao seu robots.txt. Isso tira suas páginas futuras do que A Common Crawl pode usar para treino. Não muda resultados de busca.
O CCBot respeita o robots.txt?
Sim. A Common Crawl diz que o CCBot segue as regras do robots.txt escritas para ele.
Qual é o user agent do CCBot?
A Common Crawl documenta como “CCBot/2.0 (https://commoncrawl.org/faq/)”. O número da versão muda, então compare por “CCBot”.
Como confirmo pedidos do CCBot?
Compare o IP do pedido com a lista publicada da Common Crawl (https://index.commoncrawl.org/ccbot.json). Só o user agent pode ser falsificado.
Fonte: commoncrawl.org, conferida em 17 de nov de 2026. Diretório de crawlers de IA
Arquivos são o começo. Respostas são o resultado.
As perguntas dos seus compradores em oito motores de IA, na sua agenda, com histórico. Grátis por 7 dias.