robots.txt: el portero de tu web frente a los bots de IA
El robots.txt es un fichero de texto que vive en tu web y funciona como un portero: le dice a cada robot que llama a la puerta qué partes puede visitar y cuáles no.
Es un estándar veterano de internet. Todas las webs pueden tenerlo y se encuentra siempre en la misma dirección: tudominio.com/robots.txt. Cualquiera puede verlo, también tú ahora mismo con tu propia web. Dentro hay reglas sencillas: "robot tal, puedes pasar", "robot cual, no entres en esta carpeta". Los robots de Google llevan décadas respetándolo, y los robots de IA —los de ChatGPT, Claude, Perplexity y compañía, que tienes listados en nuestra guía de bots— también lo consultan antes de entrar.
Imagina un taller mecánico de Murcia con una web hecha hace años por un sobrino. Sin que el dueño lo sepa, la plantilla trae un robots.txt que bloquea a todos los robots de IA. Resultado: cuando un vecino pregunta a ChatGPT "¿qué taller me recomiendas en Murcia para cambiar el embrague?", la IA no tiene ni idea de que ese taller existe, porque su portero lleva años diciéndole a los robots que no pasen. Arreglar eso son dos líneas de texto.
El caso contrario también pasa: webs que quieren controlar qué hace la IA con su contenido y no han puesto ninguna regla. El robots.txt es donde se toma esa decisión, robot a robot.
Por qué te importa
- Es la primera puerta. Da igual lo bueno que sea tu contenido: si el robots.txt bloquea a los robots de IA, no te leerán y no te citarán.
- Puede estar mal configurado sin que lo sepas. Plantillas, plugins y hostings a veces añaden bloqueos por defecto. Merece la pena revisarlo una vez.
- Te da control, no solo acceso. Puedes permitir los robots de búsqueda de IA y bloquear los de entrenamiento, o al revés. Cada línea es una decisión de negocio.
- Es gratis y rápido de revisar. No hace falta tocar código: es un fichero de texto plano que cualquier persona que gestione tu web puede editar en minutos.
Términos relacionados
- Crawler de IA: el robot al que el robots.txt deja pasar o frena.
- User-agent: el nombre con el que cada robot se presenta, y que usas en el robots.txt para dirigirte a él.
- llms.txt: otro fichero, más reciente, pensado para guiar a las IAs por tu contenido.
Preguntas frecuentes
¿Dónde veo el robots.txt de mi web?
Escribe en el navegador tu dominio seguido de /robots.txt (por ejemplo, mitaller.com/robots.txt). Si aparece texto, ese es tu fichero. Si da error, es posible que no tengas ninguno, lo que en la práctica significa "todos pueden pasar".
¿Los robots de IA están obligados a respetar el robots.txt?
No es una ley, es una convención. Los robots de las grandes empresas (OpenAI, Anthropic, Google, Microsoft) declaran que lo respetan. Robots maliciosos pueden ignorarlo, pero para el GEO lo relevante son los grandes, y esos sí hacen caso.
Si no tengo robots.txt, ¿estoy bloqueando a la IA?
No, al contrario: sin robots.txt, los robots entienden que pueden visitarlo todo. El problema suele ser el inverso: tener uno heredado de la plantilla que bloquea sin que tú lo hayas decidido.
¿No sabes si tu robots.txt está dejando fuera a los robots de IA? Haz el test de visibilidad en IA gratis y comprueba en dos minutos cómo ve la IA tu negocio.
