User agent e regras de robots.txt do Meta-ExternalFetcher
O Meta-ExternalFetcher busca links individuais a pedido de um usuário, por exemplo para ajudar a Meta AI a concluir uma tarefa em um site.
User agent
Como na documentação da Meta. O número da versão muda; compare pelo token.
meta-externalfetcher/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)
Regras de robots.txt para o Meta-ExternalFetcher
Cole um dos blocos no robots.txt na raiz do seu domínio. A mudança pode levar até um dia para ser lida.
Bloquear o Meta-ExternalFetcher
Bloqueia todos os caminhos para o Meta-ExternalFetcher. Isso pede que A Meta não busque suas páginas quando os usuários pedirem, embora A Meta diga que buscas acionadas pelo usuário podem nem sempre seguir o robots.txt.
User-agent: meta-externalfetcher Disallow: /
Permitir o Meta-ExternalFetcher
Deixa o Meta-ExternalFetcher buscar todos os caminhos, diga o que disser o “User-agent: *”.
User-agent: meta-externalfetcher Allow: /
Bom saber
A Meta diz que ele pode ignorar o robots.txt, porque a busca foi pedida por um usuário.
Perguntas sobre o Meta-ExternalFetcher
O que é o Meta-ExternalFetcher?
O Meta-ExternalFetcher busca links individuais a pedido de um usuário, por exemplo para ajudar a Meta AI a concluir uma tarefa em um site.
Como bloqueio o Meta-ExternalFetcher?
Acrescente “User-agent: meta-externalfetcher” e “Disallow: /” ao seu robots.txt. Isso pede que A Meta não busque suas páginas quando os usuários pedirem, embora A Meta diga que buscas acionadas pelo usuário podem nem sempre seguir o robots.txt.
O Meta-ExternalFetcher respeita o robots.txt?
A Meta diz que, como uma pessoa inicia esses pedidos, as regras do robots.txt podem não valer para o Meta-ExternalFetcher.
Qual é o user agent do Meta-ExternalFetcher?
A Meta documenta como “meta-externalfetcher/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)”. O número da versão muda, então compare por “meta-externalfetcher”.
Como confirmo pedidos do Meta-ExternalFetcher?
A Meta não publica lista de IPs para o Meta-ExternalFetcher. Trate o user agent como indício, não como prova.
Fonte: developers.facebook.com, conferida em 17 de nov de 2026. Diretório de crawlers de IA
Arquivos são o começo. Respostas são o resultado.
As perguntas dos seus compradores em oito motores de IA, na sua agenda, com histórico. Grátis por 7 dias.