User agent e regras de robots.txt do Meta-WebIndexer

O Meta-WebIndexer analisa conteúdo da web para melhorar os resultados de busca da Meta AI. Permiti-lo deixa a Meta AI citar suas páginas nas respostas.

Busca com IA Segue o robots.txt Meta

User agent

Como na documentação da Meta. O número da versão muda; compare pelo token.

User agent
meta-webindexer/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)

Regras de robots.txt para o Meta-WebIndexer

Cole um dos blocos no robots.txt na raiz do seu domínio. A mudança pode levar até um dia para ser lida.

Bloquear o Meta-WebIndexer

Bloqueia todos os caminhos para o Meta-WebIndexer. Isso tira suas páginas do índice de busca com IA da Meta, então as respostas não podem citá-las.

robots.txt
User-agent: meta-webindexer
Disallow: /

Permitir o Meta-WebIndexer

Deixa o Meta-WebIndexer buscar todos os caminhos, diga o que disser o “User-agent: *”.

robots.txt
User-agent: meta-webindexer
Allow: /

Bom saber

A Meta diz que os crawlers podem guardar o seu robots.txt em cache por até 24 horas.

Perguntas sobre o Meta-WebIndexer

O que é o Meta-WebIndexer?

O Meta-WebIndexer analisa conteúdo da web para melhorar os resultados de busca da Meta AI. Permiti-lo deixa a Meta AI citar suas páginas nas respostas.

Como bloqueio o Meta-WebIndexer?

Acrescente “User-agent: meta-webindexer” e “Disallow: /” ao seu robots.txt. Isso tira suas páginas do índice de busca com IA da Meta, então as respostas não podem citá-las.

O Meta-WebIndexer respeita o robots.txt?

Sim. A Meta diz que o Meta-WebIndexer segue as regras do robots.txt escritas para ele.

Qual é o user agent do Meta-WebIndexer?

A Meta documenta como “meta-webindexer/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)”. O número da versão muda, então compare por “meta-webindexer”.

Como confirmo pedidos do Meta-WebIndexer?

A Meta não publica lista de IPs para o Meta-WebIndexer. Trate o user agent como indício, não como prova.

Fonte: developers.facebook.com, conferida em 17 de nov de 2026. Diretório de crawlers de IA

Arquivos são o começo. Respostas são o resultado.

As perguntas dos seus compradores em oito motores de IA, na sua agenda, com histórico. Grátis por 7 dias.