Googlebot
Googlebot es el rastreador clásico de Google, pero hoy hace doble función: alimenta tanto los resultados tradicionales de búsqueda como los resúmenes generados con IA (AI Overviews) que aparecen arriba del todo. Para una pyme sigue siendo el bot más importante de todos: sin Googlebot no existes ni en Google ni en sus respuestas de IA.
- User-agent
GooglebotMozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36- Does it respect robots.txt?
- Yes
- Official documentation
- https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers
How to allow it in your robots.txt
User-agent: Googlebot
Allow: /How to block it (not recommended)
User-agent: Googlebot
Disallow: /Frequently asked questions
¿Debo bloquear a Googlebot?
Rotundamente no. Bloquear a Googlebot te saca de la búsqueda de Google al completo: resultados clásicos, Google Imágenes, Discover y los resúmenes con IA. Es la forma más rápida de volverse invisible en internet.
¿Googlebot alimenta los resúmenes de IA de Google?
Sí. Los AI Overviews se construyen sobre el índice de búsqueda que crea Googlebot. Si quieres salir solo de los resúmenes de IA pero seguir en Google, no es Googlebot lo que hay que tocar: ese control no existe vía robots.txt sin perder también la búsqueda.
¿Cómo sé si Googlebot visita mi web?
Aparece como "Googlebot" en los logs de tu servidor, y puedes ver sus estadísticas de rastreo gratis en Google Search Console, en el apartado de Ajustes > Estadísticas de rastreo.