O que é o AnswerHawkBot
O AnswerHawk acompanha como os motores de IA respondem perguntas sobre marcas. As respostas vêm dos motores por meio de fornecedores de dados e APIs oficiais; o AnswerHawkBot não é usado para isso. Ele só busca algumas coisas em sites, e toda requisição leva o user agent acima.
Quando ele visita e o que lê
| Requisição | Quando | O que lê | robots.txt | Limite |
|---|---|---|---|---|
| Verificação de página citada | Depois que uma resposta de IA cita uma página, no máximo uma vez por semana por página e marca | A página citada, para ver se ela lista a marca acompanhada | Segue | 10 / min por site |
| Favicon | Para domínios que aparecem num projeto, a cada 30 dias | O <head> da página inicial e o /favicon.ico | Arquivo padrão | 6 / min por site |
| Dados do site | Quando alguém informa o seu domínio no onboarding ou no verificador grátis de visibilidade em IA | O título e a descrição da página inicial | Sob pedido | Uma requisição por vez |
| Ferramentas grátis | Quando alguém usa o verificador de llms.txt, o gerador de llms.txt ou o verificador de bots de IA no seu domínio | robots.txt, llms.txt, llms-full.txt, sitemaps e algumas páginas | Sob pedido | 20 / min por site |
| Diretório de llms.txt | Sites listados no diretório, a cada 30 dias | robots.txt e depois /llms.txt | Segue | 20 / min por site |
Como ele se comporta
- só requisições
GETpara URLs públicas; nunca envia formulários, faz login, guarda cookies ou executa JavaScript; - tempos limite explícitos (8 segundos por requisição), no máximo 4 redirecionamentos e um limite de tamanho em toda resposta;
- limites de acesso por site (veja a tabela), para que um site nunca receba rajadas nossas;
- só endereços públicos da internet: endereços privados, locais e reservados são recusados em cada redirecionamento;
- resultados ficam em cache: uma página citada é verificada no máximo uma vez por semana para cada marca.
O que guardamos
- páginas citadas: só a resposta sim/não para "esta página lista a marca?", por 7 dias. O conteúdo da página não é guardado;
- favicons: o arquivo do ícone, renovado a cada 30 dias, mostrado ao lado do seu domínio no app;
- diretório de llms.txt: uma cópia dos arquivos llms.txt públicos e o histórico deles, mostrados na página do diretório;
- nada do que buscamos é vendido ou usado para treinar modelos de IA.
Controle o acesso com o robots.txt
A verificação de páginas citadas e o diretório de llms.txt seguem o robots.txt. Eles leem o grupo de AnswerHawkBot (ou *, se não houver um). Para bloqueá-los no site inteiro:
User-agent: AnswerHawkBot
Disallow: /
Para bloquear só uma parte do site:
User-agent: AnswerHawkBot
Disallow: /privado/
Favicons são arquivos públicos padrão, e as ferramentas grátis só leem robots.txt, llms.txt e sitemaps quando alguém pede. Se você quiser que paremos todas as requisições ao seu domínio, fale conosco e vamos excluí-lo.
Como verificar uma requisição
As requisições reais enviam exatamente o user agent acima e saem dos servidores do AnswerHawk. Ainda não publicamos uma lista fixa de endereços IP. Se você vir tráfego usando o nosso nome sem seguir estas regras, avise-nos com horário, URL e endereço IP.
Procurando os robôs das empresas de IA (GPTBot, ClaudeBot, PerplexityBot…)? Veja o diretório de robôs de IA ou teste o seu site com o verificador de bots de IA.