User agent e regras de robots.txt do Meta-ExternalFetcher

O Meta-ExternalFetcher busca links individuais a pedido de um usuário, por exemplo para ajudar a Meta AI a concluir uma tarefa em um site.

A pedido do usuário Pode ignorar o robots.txt Meta

User agent

Como na documentação da Meta. O número da versão muda; compare pelo token.

User agent
meta-externalfetcher/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)

Regras de robots.txt para o Meta-ExternalFetcher

Cole um dos blocos no robots.txt na raiz do seu domínio. A mudança pode levar até um dia para ser lida.

Bloquear o Meta-ExternalFetcher

Bloqueia todos os caminhos para o Meta-ExternalFetcher. Isso pede que A Meta não busque suas páginas quando os usuários pedirem, embora A Meta diga que buscas acionadas pelo usuário podem nem sempre seguir o robots.txt.

robots.txt
User-agent: meta-externalfetcher
Disallow: /

Permitir o Meta-ExternalFetcher

Deixa o Meta-ExternalFetcher buscar todos os caminhos, diga o que disser o “User-agent: *”.

robots.txt
User-agent: meta-externalfetcher
Allow: /

Bom saber

A Meta diz que ele pode ignorar o robots.txt, porque a busca foi pedida por um usuário.

Perguntas sobre o Meta-ExternalFetcher

O que é o Meta-ExternalFetcher?

O Meta-ExternalFetcher busca links individuais a pedido de um usuário, por exemplo para ajudar a Meta AI a concluir uma tarefa em um site.

Como bloqueio o Meta-ExternalFetcher?

Acrescente “User-agent: meta-externalfetcher” e “Disallow: /” ao seu robots.txt. Isso pede que A Meta não busque suas páginas quando os usuários pedirem, embora A Meta diga que buscas acionadas pelo usuário podem nem sempre seguir o robots.txt.

O Meta-ExternalFetcher respeita o robots.txt?

A Meta diz que, como uma pessoa inicia esses pedidos, as regras do robots.txt podem não valer para o Meta-ExternalFetcher.

Qual é o user agent do Meta-ExternalFetcher?

A Meta documenta como “meta-externalfetcher/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)”. O número da versão muda, então compare por “meta-externalfetcher”.

Como confirmo pedidos do Meta-ExternalFetcher?

A Meta não publica lista de IPs para o Meta-ExternalFetcher. Trate o user agent como indício, não como prova.

Fonte: developers.facebook.com, conferida em 17 de nov de 2026. Diretório de crawlers de IA

Arquivos são o começo. Respostas são o resultado.

As perguntas dos seus compradores em oito motores de IA, na sua agenda, com histórico. Grátis por 7 dias.