User agent y reglas de robots.txt de AI2Bot

AI2Bot es el crawler del Allen Institute for AI (Ai2). Encuentra contenido web que Ai2 usa para entrenar sus modelos de lenguaje abiertos.

Entrenamiento de IA No documentado Ai2

User agent

Tal como lo documenta Ai2. El número de versión cambia; compara por el token.

User agent
Mozilla/5.0 (compatible) AI2Bot (+https://www.allenai.org/crawler)

Reglas de robots.txt para AI2Bot

Pega un bloque en el robots.txt de la raíz de tu dominio. El cambio puede tardar hasta un día en leerse.

Bloquear AI2Bot

Bloquea todas las rutas para AI2Bot. Así tus páginas futuras quedan fuera de lo que Ai2 puede usar para entrenamiento. No cambia los resultados de búsqueda.

robots.txt
User-agent: AI2Bot
Disallow: /

Permitir AI2Bot

Deja que AI2Bot descargue todas las rutas, diga lo que diga “User-agent: *”.

robots.txt
User-agent: AI2Bot
Allow: /

Conviene saber

La página de Ai2 no dice cómo lee el robots.txt; sugiere filtrar por el user agent.

Preguntas sobre AI2Bot

¿Qué es AI2Bot?

AI2Bot es el crawler del Allen Institute for AI (Ai2). Encuentra contenido web que Ai2 usa para entrenar sus modelos de lenguaje abiertos.

¿Cómo bloqueo AI2Bot?

Añade “User-agent: AI2Bot” y “Disallow: /” a tu robots.txt. Así tus páginas futuras quedan fuera de lo que Ai2 puede usar para entrenamiento. No cambia los resultados de búsqueda.

¿AI2Bot respeta el robots.txt?

La documentación de Ai2 no lo dice. Bloquéalo en robots.txt y, si hace falta, en el firewall por sus IP publicadas.

¿Cuál es el user agent de AI2Bot?

Ai2 lo documenta como “Mozilla/5.0 (compatible) AI2Bot (+https://www.allenai.org/crawler)”. El número de versión cambia, así que compara por “AI2Bot”.

¿Cómo compruebo las peticiones de AI2Bot?

Ai2 no publica una lista de IP para AI2Bot. Toma el user agent como indicio, no como prueba.

Fuente: allenai.org, comprobada el 17 de nov. de 2026. Directorio de crawlers de IA

Los archivos son el comienzo. Las respuestas, el resultado.

Las preguntas de tus compradores en ocho motores de IA, en tu calendario y con historial. Gratis durante 7 días.