User agent y reglas de robots.txt de Googlebot
Googlebot es el crawler de la Búsqueda de Google. AI Overviews y AI Mode son funciones de la Búsqueda, así que las reglas de robots.txt de Googlebot también las controlan.
User agent
Tal como lo documenta Google. El número de versión cambia; compara por el token.
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Reglas de robots.txt para Googlebot
Pega un bloque en el robots.txt de la raíz de tu dominio. El cambio puede tardar hasta un día en leerse.
Bloquear Googlebot
Bloquea todas las rutas para Googlebot. Así tus páginas quedan fuera del índice de búsqueda con IA de Google, y sus respuestas no pueden citarlas.
User-agent: Googlebot Disallow: /
Permitir Googlebot
Deja que Googlebot descargue todas las rutas, diga lo que diga “User-agent: *”.
User-agent: Googlebot Allow: /
Conviene saber
Bloquear Googlebot también te saca de la Búsqueda de Google normal. Para limitar lo que muestran las funciones de IA, Google remite a nosnippet, data-nosnippet, max-snippet o noindex.
Otros crawlers de Google
Google-Extended
Google-Extended es un token de robots.txt, no un crawler. Controla si las páginas que Google…
OtroGoogle-CloudVertexBot
Google-CloudVertexBot hace rastreos que piden los dueños de sitios para crear agentes de…
A petición del usuarioGoogle-GeminiNotebook
Google-GeminiNotebook descarga las URL que las personas añaden como fuentes en proyectos de…
A petición del usuarioGoogle-Agent
Google-Agent lo usan agentes en la infraestructura de Google que navegan por la web y actúan a…
Preguntas sobre Googlebot
¿Qué es Googlebot?
Googlebot es el crawler de la Búsqueda de Google. AI Overviews y AI Mode son funciones de la Búsqueda, así que las reglas de robots.txt de Googlebot también las controlan.
¿Cómo bloqueo Googlebot?
Añade “User-agent: Googlebot” y “Disallow: /” a tu robots.txt. Así tus páginas quedan fuera del índice de búsqueda con IA de Google, y sus respuestas no pueden citarlas.
¿Googlebot respeta el robots.txt?
Sí. Google dice que Googlebot sigue las reglas de robots.txt escritas para él.
¿Cuál es el user agent de Googlebot?
Google lo documenta como “Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)”. El número de versión cambia, así que compara por “Googlebot”.
¿Cómo compruebo las peticiones de Googlebot?
Compara la IP de la petición con la lista publicada de Google (https://developers.google.com/static/search/apis/ipranges/googlebot.json). El user agent por sí solo se puede falsificar.
Fuente: developers.google.com, comprobada el 17 de nov. de 2026. Directorio de crawlers de IA
Los archivos son el comienzo. Las respuestas, el resultado.
Las preguntas de tus compradores en ocho motores de IA, en tu calendario y con historial. Gratis durante 7 días.