User agent e regras de robots.txt do AI2Bot
O AI2Bot é o crawler do Allen Institute for AI (Ai2). Ele encontra conteúdo da web que o Ai2 usa para treinar seus modelos de linguagem abertos.
User agent
Como na documentação do Ai2. O número da versão muda; compare pelo token.
Mozilla/5.0 (compatible) AI2Bot (+https://www.allenai.org/crawler)
Regras de robots.txt para o AI2Bot
Cole um dos blocos no robots.txt na raiz do seu domínio. A mudança pode levar até um dia para ser lida.
Bloquear o AI2Bot
Bloqueia todos os caminhos para o AI2Bot. Isso tira suas páginas futuras do que O Ai2 pode usar para treino. Não muda resultados de busca.
User-agent: AI2Bot Disallow: /
Permitir o AI2Bot
Deixa o AI2Bot buscar todos os caminhos, diga o que disser o “User-agent: *”.
User-agent: AI2Bot Allow: /
Bom saber
A página do Ai2 não diz como ele lê o robots.txt; ela sugere filtrar pelo user agent.
Perguntas sobre o AI2Bot
O que é o AI2Bot?
O AI2Bot é o crawler do Allen Institute for AI (Ai2). Ele encontra conteúdo da web que o Ai2 usa para treinar seus modelos de linguagem abertos.
Como bloqueio o AI2Bot?
Acrescente “User-agent: AI2Bot” e “Disallow: /” ao seu robots.txt. Isso tira suas páginas futuras do que O Ai2 pode usar para treino. Não muda resultados de busca.
O AI2Bot respeita o robots.txt?
A documentação do Ai2 não diz. Bloqueie no robots.txt e, se precisar, no firewall pelos IPs publicados.
Qual é o user agent do AI2Bot?
O Ai2 documenta como “Mozilla/5.0 (compatible) AI2Bot (+https://www.allenai.org/crawler)”. O número da versão muda, então compare por “AI2Bot”.
Como confirmo pedidos do AI2Bot?
O Ai2 não publica lista de IPs para o AI2Bot. Trate o user agent como indício, não como prova.
Fonte: allenai.org, conferida em 17 de nov de 2026. Diretório de crawlers de IA
Arquivos são o começo. Respostas são o resultado.
As perguntas dos seus compradores em oito motores de IA, na sua agenda, com histórico. Grátis por 7 dias.