GrokBot
Es el rastreador asociado a Grok, la IA de xAI (la empresa de Elon Musk). Los directorios especializados como CrawlerCheck documentan que se identifica con el user-agent "GrokBot" y que puedes controlarlo con las reglas estándar de robots.txt. Matiz importante: xAI no publica documentación oficial propia, y un análisis independiente con tests controlados (Stackfox, 2026) detectó que parte del tráfico en vivo de Grok llega con user-agents de navegador genéricos desde proxies de datacenter, en cuyo caso las reglas dirigidas a "GrokBot" no lo cubren.
- User-agent
GrokBot- ¿Respeta robots.txt?
- Parcialmente
- Documentación oficial
- https://crawlercheck.com/directory/ai-bots/grokbot
Cómo permitirlo en tu robots.txt
User-agent: GrokBot
Allow: /Cómo bloquearlo (no recomendado)
User-agent: GrokBot
Disallow: /Preguntas frecuentes
¿Debo bloquear a GrokBot?
Para un negocio, no conviene. Grok responde a millones de usuarios de X, y ser citado ahí es visibilidad. Si aun así quieres bloquearlo, las reglas estándar de robots.txt dirigidas a "GrokBot" funcionan para el tráfico que se identifica como tal.
¿GrokBot respeta el robots.txt?
Parcialmente. Los directorios de bots documentan que el tráfico identificado como "GrokBot" responde a las reglas estándar de robots.txt. Pero xAI no publica documentación oficial, y el análisis independiente de Stackfox (2026) detectó peticiones de Grok con user-agents de navegador normales, que esas reglas no alcanzan.
¿Cómo sé si Grok consulta mi web?
Busca "GrokBot" en los logs de tu servidor. Ten en cuenta que puede no aparecer todo su tráfico: según el análisis de Stackfox, parte de las peticiones de Grok llegan con user-agents de Chrome o Safari desde IPs de datacenter, así que los logs pueden infraestimar sus visitas.