Directorio de crawlers de IA

28 crawlers de IA de OpenAI, Anthropic, Google, Perplexity y otros: qué hace cada uno, su user agent y la regla de robots.txt para permitirlo o bloquearlo.

Comprobado con la documentación de cada operador el 17 de nov. de 2026

Crawler Se usa para robots.txt Token en robots.txt
GPTBotOpenAI Entrenamiento de IA Sigue el robots.txt GPTBot
ClaudeBotAnthropic Entrenamiento de IA Sigue el robots.txt ClaudeBot
Google-ExtendedGoogle Entrenamiento de IA Solo token de control Google-Extended
Applebot-ExtendedApple Entrenamiento de IA Solo token de control Applebot-Extended
Meta-ExternalAgentMeta Entrenamiento de IA Sigue el robots.txt meta-externalagent
AmazonbotAmazon Entrenamiento de IA Sigue el robots.txt Amazonbot
MistralAI-TrainingMistral AI Entrenamiento de IA Sigue el robots.txt MistralAI-Training
CCBotCommon Crawl Entrenamiento de IA Sigue el robots.txt CCBot
AI2BotAi2 Entrenamiento de IA No documentado AI2Bot

Crawlers de entrenamiento, de búsqueda y a petición del usuario

La mayoría de las empresas de IA usan crawlers separados. Bloquea el tipo que no quieres y deja el resto.

GPTBot ClaudeBot Google-Extended

Entrenamiento de IA

Recogen páginas que pueden entrenar modelos. Bloquearlos deja tu contenido futuro fuera de los datos de entrenamiento.

9 crawlers
OAI-SearchBot Claude-SearchBot Googlebot

Búsqueda con IA

Crean el índice que consultan y citan las respuestas de IA. Bloquearlos puede dejarte fuera de esas respuestas.

9 crawlers
ChatGPT-User Claude-User Google-GeminiNotebook

A petición del usuario

Descargan una página cuando una persona lo pide. Los operadores dicen que el robots.txt puede no aplicarse siempre.

8 crawlers

Bloquear el entrenamiento de IA, seguir en la búsqueda con IA

El conjunto de reglas que más piden los sitios. Bloquea todos los crawlers de entrenamiento y tokens de control de este directorio y deja en paz a los de búsqueda y a los activados por el usuario.

Comprueba qué bots de IA pueden rastrear tu sitio

robots.txt
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: Amazonbot
User-agent: MistralAI-Training
User-agent: CCBot
User-agent: AI2Bot
Disallow: /

Preguntas sobre crawlers de IA

Qué son los bots y cómo controlarlos.

¿Qué son los crawlers de IA?

Bots de empresas de IA que descargan páginas web. Algunos recogen páginas que pueden entrenar modelos (GPTBot, ClaudeBot), otros crean el índice que citan las respuestas de búsqueda con IA (OAI-SearchBot, PerplexityBot) y otros descargan una página cuando una persona lo pide (ChatGPT-User).

¿Cómo bloqueo los crawlers de IA?

Con robots.txt: una línea “User-agent:” con el token del bot y “Disallow: /”. Cada página de bot tiene las reglas para bloquear y permitir listas para copiar, y el verificador de bots de IA muestra qué hace tu archivo actual.

¿Los crawlers de IA respetan el robots.txt?

Los operadores de esta lista dicen que sus crawlers siguen el robots.txt. Varios dicen que sus descargas a petición del usuario pueden no hacerlo, porque una persona pidió la página. Cada página de bot recoge lo que documenta su operador.

¿Qué son Google-Extended y Applebot-Extended?

Tokens de control, no crawlers. Nunca visitan tu sitio; deciden si las páginas que Googlebot o Applebot ya descargaron pueden usarse para entrenar IA (y, en Google-Extended, para fundamentar respuestas en Gemini). No cambian los resultados de búsqueda.

¿Cómo compruebo que una petición viene de verdad de un crawler de IA?

Los user agents se pueden falsificar. La mayoría de los operadores publican rangos de IP (enlazados en cada página de bot) o admiten la comprobación por DNS inverso. Compara la IP de la petición con ellos antes de fiarte del user agent.

¿Cada cuánto se actualiza esta lista?

Cada bot se comprueba con la documentación de su propio operador, con la fecha visible, y la lista se revisa cada trimestre. Los bots sin fuente primaria no se incluyen.

Los archivos son el comienzo. Las respuestas, el resultado.

Las preguntas de tus compradores en ocho motores de IA, en tu calendario y con historial. Gratis durante 7 días.