User-agent: el DNI con el que se presenta cada bot

El user-agent es el nombre con el que cada visitante automático —y también cada navegador— se identifica al entrar en tu web: una especie de DNI que dice "soy GPTBot, el robot de OpenAI" o "soy Googlebot, el robot de Google".

Cada vez que alguien (persona o robot) pide una página de tu web, envía este identificador. Tu servidor lo apunta en su registro de visitas. Gracias a eso puedes saber quién pasa por tu web: clientes con su móvil, el robot de Google o los robots de IA. Los principales bots de IA y sus user-agents los tienes recopilados en nuestra guía de bots: GPTBot y OAI-SearchBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot (Perplexity), entre otros.

El user-agent tiene dos usos prácticos para tu negocio. El primero, diagnóstico: mirando los registros de tu web sabes si los robots de IA te están visitando o no. El segundo, control: en el fichero robots.txt usas el user-agent para dirigirte a cada robot por su nombre y decirle si puede pasar.

Pongamos una clínica dental de Salamanca que quiere aparecer cuando alguien pregunta a ChatGPT por un buen dentista en la ciudad. Su informático revisa los registros del servidor y busca los user-agents de IA. Si encuentra visitas de OAI-SearchBot, buena señal: el buscador de ChatGPT está leyendo la web de la clínica. Si en seis meses no hay ni rastro, hay un problema que investigar: quizá el robots.txt los bloquea, o la web es ilegible para ellos.

Un matiz: el user-agent es declarativo. El robot dice quién es, pero nada le impide mentir. Los robots de las empresas serias se identifican correctamente; algunos robots de mala fe se disfrazan de navegador normal. Para el GEO, lo relevante son los serios, y esos van a cara descubierta.

Por qué te importa

• Es tu manera de saber si la IA te lee. Sin mirar los user-agents en tus registros, solo puedes suponer; con ellos, lo compruebas.
• Es la llave del control. En el robots.txt te diriges a cada robot por su user-agent: permites unos, bloqueas otros.
• Cada empresa de IA tiene varios. OpenAI, por ejemplo, usa robots distintos para entrenar y para buscar. Conviene distinguirlos antes de bloquear a lo loco.
• No exige ser técnico. Basta con saber que existe y pedir a quien gestione tu web que lo revise, o usar una herramienta que lo haga.

Términos relacionados

• Crawler de IA: el robot que se presenta con ese user-agent.
• robots.txt: el fichero donde usas el user-agent para dar o quitar el paso a cada robot.
• Indexación en IA: lo que pasa después de que el robot lea tu web.

Preguntas frecuentes

¿Dónde veo los user-agents que visitan mi web?

En los registros de acceso (logs) de tu servidor o hosting. Casi todos los paneles de hosting los ofrecen. Si no te manejas, pídeselo a quien te lleve la web: es una consulta de minutos.

¿Un robot puede mentir sobre su user-agent?

Sí, técnicamente puede presentarse con un nombre falso. Los robots de las grandes empresas de IA se identifican correctamente y publican sus user-agents oficiales. Los que mienten suelen ser robots de scraping de mala fe, que son otro problema distinto.

¿Qué user-agents de IA debería dejar pasar?

Como mínimo, los de búsqueda de IA (como OAI-SearchBot o PerplexityBot) si quieres aparecer en sus respuestas. Los de entrenamiento (como GPTBot) son decisión tuya: dejarlos pasar ayuda a que los modelos conozcan tu negocio, pero implica que tu contenido se use para entrenarlos.

---

¿Quieres saber si los bots de IA visitan tu web y qué dicen de tu negocio? Haz el test de visibilidad en IA gratis y tendrás la respuesta en dos minutos.