Bots y crawlers de IA
Estos son los robots que leen tu web para alimentar a ChatGPT, Gemini, Perplexity y compañía. Si los bloqueas, tu negocio desaparece de sus respuestas.
OpenAI
| Bot | Tipo | Qué hace |
|---|
| GPTBot | Entrenamiento | Recopila contenido público para entrenar los modelos de IA de OpenAI, como los que usa ChatGPT. |
| ChatGPT-User | Acción de usuario | Visita tu web en directo cuando un usuario de ChatGPT pide información que requiere consultar tu página. |
| OAI-SearchBot | Búsqueda | Indexa webs para que aparezcan como resultados y enlaces en la búsqueda de ChatGPT. |
Anthropic
| Bot | Tipo | Qué hace |
|---|
| ClaudeBot | Entrenamiento | Recopila contenido público para entrenar y mejorar los modelos Claude de Anthropic. |
| Claude-User | Acción de usuario | Accede a tu web en directo cuando un usuario de Claude hace una pregunta que requiere consultarla. |
| Claude-SearchBot | Búsqueda | Indexa contenido web para mejorar la calidad y relevancia de los resultados de búsqueda de Claude. |
Google
| Bot | Tipo | Qué hace |
|---|
| Googlebot | Mixto | Rastrea la web para la búsqueda de Google, incluidos los resúmenes con IA (AI Overviews). |
| Google-Extended | Entrenamiento | Token de control en robots.txt que decide si tu contenido puede usarse para entrenar los modelos Gemini de Google. |
| GoogleOther | Mixto | Rastreador genérico que los equipos de producto de Google usan para descargar contenido público con fines diversos, incluida investigación y desarrollo de IA. |
Perplexity
| Bot | Tipo | Qué hace |
|---|
| PerplexityBot | Búsqueda | Indexa webs para mostrarlas y enlazarlas en los resultados de búsqueda de Perplexity. |
| Perplexity-User | Acción de usuario | Visita tu web en directo cuando un usuario hace una pregunta en Perplexity que requiere consultar tu página. |
Microsoft
| Bot | Tipo | Qué hace |
|---|
| Bingbot | Mixto | Rastrea la web para el buscador Bing y alimenta también las respuestas de Microsoft Copilot. |
Meta
| Bot | Tipo | Qué hace |
|---|
| Meta-ExternalAgent | Entrenamiento | Rastrea la web para entrenar los modelos de IA de Meta (Llama) y para indexar contenido en sus productos. |
| Meta-ExternalFetcher | Acción de usuario | Descarga enlaces concretos que piden los usuarios y asiste a las capacidades agénticas de la IA de Meta. |
Apple
| Bot | Tipo | Qué hace |
|---|
| Applebot | Búsqueda | Rastrea la web para las funciones de búsqueda de Apple: Siri, Spotlight y sugerencias de Safari. |
| Applebot-Extended | Entrenamiento | Token de control que decide si Apple puede usar tu contenido para entrenar los modelos de Apple Intelligence. |
Amazon
| Bot | Tipo | Qué hace |
|---|
| Amazonbot | Mixto | Rastrea la web para mejorar productos y servicios de Amazon, como las respuestas de Alexa, y puede usarse para entrenar sus modelos de IA. |
ByteDance
| Bot | Tipo | Qué hace |
|---|
| Bytespider | Entrenamiento | Recopila contenido web de forma masiva para entrenar los modelos de IA de ByteDance, la empresa de TikTok y Doubao. |
Common Crawl
| Bot | Tipo | Qué hace |
|---|
| CCBot | Entrenamiento | Crea un archivo abierto de la web que sirve de base de entrenamiento para muchos modelos de IA. |
Cohere
| Bot | Tipo | Qué hace |
|---|
| cohere-training-data-crawler | Entrenamiento | Recopila contenido web público para entrenar los modelos de lenguaje de Cohere, orientados a empresas. |
Mistral AI
| Bot | Tipo | Qué hace |
|---|
| MistralAI-User | Acción de usuario | Visita tu web cuando un usuario de Vibe, el asistente de Mistral, hace una pregunta que requiere consultarla. |
DuckDuckGo
| Bot | Tipo | Qué hace |
|---|
| DuckAssistBot | Búsqueda | Recoge contenido para DuckAssist, las respuestas generadas con IA del buscador DuckDuckGo. |
You.com
| Bot | Tipo | Qué hace |
|---|
| YouBot | Búsqueda | Descubre e indexa páginas web para que el buscador y los asistentes de IA de You.com den respuestas actualizadas. |
Diffbot
| Bot | Tipo | Qué hace |
|---|
| Diffbot | Mixto | Extrae datos estructurados de páginas web para construir una base de conocimiento que usan empresas y sistemas de IA. |
Allen Institute for AI
| Bot | Tipo | Qué hace |
|---|
| AI2Bot | Entrenamiento | Recopila documentos web para crear datasets abiertos con los que entrenar y evaluar modelos de lenguaje de Ai2. |
xAI
| Bot | Tipo | Qué hace |
|---|
| GrokBot | Mixto | Recupera contenido web para Grok, el asistente de IA de xAI integrado en X (antes Twitter). |
Huawei
| Bot | Tipo | Qué hace |
|---|
| PetalBot | Mixto | Rastrea la web para Petal Search, el buscador de Huawei, y los servicios de su ecosistema. |
Hive
| Bot | Tipo | Qué hace |
|---|
| ImagesiftBot | Mixto | Recopila imágenes públicas y su contexto para los productos de inteligencia web e IA de Hive. |