Directorio de crawlers de IA

28 crawlers de IA de OpenAI, Anthropic, Google, Perplexity y otros: qué hace cada uno, su user agent y la regla de robots.txt para permitirlo o bloquearlo.

Comprobado con la documentación de cada operador el 17 de nov. de 2026

Crawler Se usa para robots.txt Token en robots.txt
GPTBotOpenAI Entrenamiento de IA Sigue el robots.txt GPTBot
OAI-SearchBotOpenAI Búsqueda con IA Sigue el robots.txt OAI-SearchBot
ChatGPT-UserOpenAI A petición del usuario Puede ignorar el robots.txt ChatGPT-User
OAI-AdsBotOpenAI Otro No documentado OAI-AdsBot
ClaudeBotAnthropic Entrenamiento de IA Sigue el robots.txt ClaudeBot
Claude-SearchBotAnthropic Búsqueda con IA Sigue el robots.txt Claude-SearchBot
Claude-UserAnthropic A petición del usuario Sigue el robots.txt Claude-User
GooglebotGoogle Búsqueda con IA Sigue el robots.txt Googlebot
Google-ExtendedGoogle Entrenamiento de IA Solo token de control Google-Extended
Google-CloudVertexBotGoogle Otro Sigue el robots.txt Google-CloudVertexBot
Google-GeminiNotebookGoogle A petición del usuario Puede ignorar el robots.txt Google-GeminiNotebook
Google-AgentGoogle A petición del usuario Puede ignorar el robots.txt Google-Agent
ApplebotApple Búsqueda con IA Sigue el robots.txt Applebot
Applebot-ExtendedApple Entrenamiento de IA Solo token de control Applebot-Extended
PerplexityBotPerplexity Búsqueda con IA Sigue el robots.txt PerplexityBot
Perplexity-UserPerplexity A petición del usuario Puede ignorar el robots.txt Perplexity-User
Meta-ExternalAgentMeta Entrenamiento de IA Sigue el robots.txt meta-externalagent
Meta-WebIndexerMeta Búsqueda con IA Sigue el robots.txt meta-webindexer
Meta-ExternalFetcherMeta A petición del usuario Puede ignorar el robots.txt meta-externalfetcher
AmazonbotAmazon Entrenamiento de IA Sigue el robots.txt Amazonbot
Amzn-SearchBotAmazon Búsqueda con IA Sigue el robots.txt Amzn-SearchBot
Amzn-UserAmazon A petición del usuario Puede ignorar el robots.txt Amzn-User
MistralAI-TrainingMistral AI Entrenamiento de IA Sigue el robots.txt MistralAI-Training
MistralAI-IndexMistral AI Búsqueda con IA No documentado MistralAI-Index
MistralAI-UserMistral AI A petición del usuario Sigue el robots.txt MistralAI-User
CCBotCommon Crawl Entrenamiento de IA Sigue el robots.txt CCBot
DuckAssistBotDuckDuckGo Búsqueda con IA Sigue el robots.txt DuckAssistBot
AI2BotAi2 Entrenamiento de IA No documentado AI2Bot

Crawlers de entrenamiento, de búsqueda y a petición del usuario

La mayoría de las empresas de IA usan crawlers separados. Bloquea el tipo que no quieres y deja el resto.

GPTBot ClaudeBot Google-Extended

Entrenamiento de IA

Recogen páginas que pueden entrenar modelos. Bloquearlos deja tu contenido futuro fuera de los datos de entrenamiento.

9 crawlers
OAI-SearchBot Claude-SearchBot Googlebot

Búsqueda con IA

Crean el índice que consultan y citan las respuestas de IA. Bloquearlos puede dejarte fuera de esas respuestas.

9 crawlers
ChatGPT-User Claude-User Google-GeminiNotebook

A petición del usuario

Descargan una página cuando una persona lo pide. Los operadores dicen que el robots.txt puede no aplicarse siempre.

8 crawlers

Bloquear el entrenamiento de IA, seguir en la búsqueda con IA

El conjunto de reglas que más piden los sitios. Bloquea todos los crawlers de entrenamiento y tokens de control de este directorio y deja en paz a los de búsqueda y a los activados por el usuario.

Comprueba qué bots de IA pueden rastrear tu sitio

robots.txt
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: Amazonbot
User-agent: MistralAI-Training
User-agent: CCBot
User-agent: AI2Bot
Disallow: /

Preguntas sobre crawlers de IA

Qué son los bots y cómo controlarlos.

¿Qué son los crawlers de IA?

Bots de empresas de IA que descargan páginas web. Algunos recogen páginas que pueden entrenar modelos (GPTBot, ClaudeBot), otros crean el índice que citan las respuestas de búsqueda con IA (OAI-SearchBot, PerplexityBot) y otros descargan una página cuando una persona lo pide (ChatGPT-User).

¿Cómo bloqueo los crawlers de IA?

Con robots.txt: una línea “User-agent:” con el token del bot y “Disallow: /”. Cada página de bot tiene las reglas para bloquear y permitir listas para copiar, y el verificador de bots de IA muestra qué hace tu archivo actual.

¿Los crawlers de IA respetan el robots.txt?

Los operadores de esta lista dicen que sus crawlers siguen el robots.txt. Varios dicen que sus descargas a petición del usuario pueden no hacerlo, porque una persona pidió la página. Cada página de bot recoge lo que documenta su operador.

¿Qué son Google-Extended y Applebot-Extended?

Tokens de control, no crawlers. Nunca visitan tu sitio; deciden si las páginas que Googlebot o Applebot ya descargaron pueden usarse para entrenar IA (y, en Google-Extended, para fundamentar respuestas en Gemini). No cambian los resultados de búsqueda.

¿Cómo compruebo que una petición viene de verdad de un crawler de IA?

Los user agents se pueden falsificar. La mayoría de los operadores publican rangos de IP (enlazados en cada página de bot) o admiten la comprobación por DNS inverso. Compara la IP de la petición con ellos antes de fiarte del user agent.

¿Cada cuánto se actualiza esta lista?

Cada bot se comprueba con la documentación de su propio operador, con la fecha visible, y la lista se revisa cada trimestre. Los bots sin fuente primaria no se incluyen.

Los archivos son el comienzo. Las respuestas, el resultado.

Las preguntas de tus compradores en ocho motores de IA, en tu calendario y con historial. Gratis durante 7 días.