AI bots & crawlers
These are the robots that read your website to feed ChatGPT, Gemini, Perplexity and friends. Block them and your business disappears from their answers.
OpenAI
| Bot | Type | What it does |
|---|
| GPTBot | Training | Recopila contenido público para entrenar los modelos de IA de OpenAI, como los que usa ChatGPT. |
| ChatGPT-User | User action | Visita tu web en directo cuando un usuario de ChatGPT pide información que requiere consultar tu página. |
| OAI-SearchBot | Search | Indexa webs para que aparezcan como resultados y enlaces en la búsqueda de ChatGPT. |
Anthropic
| Bot | Type | What it does |
|---|
| ClaudeBot | Training | Recopila contenido público para entrenar y mejorar los modelos Claude de Anthropic. |
| Claude-User | User action | Accede a tu web en directo cuando un usuario de Claude hace una pregunta que requiere consultarla. |
| Claude-SearchBot | Search | Indexa contenido web para mejorar la calidad y relevancia de los resultados de búsqueda de Claude. |
Google
| Bot | Type | What it does |
|---|
| Googlebot | Mixed | Rastrea la web para la búsqueda de Google, incluidos los resúmenes con IA (AI Overviews). |
| Google-Extended | Training | Token de control en robots.txt que decide si tu contenido puede usarse para entrenar los modelos Gemini de Google. |
| GoogleOther | Mixed | Rastreador genérico que los equipos de producto de Google usan para descargar contenido público con fines diversos, incluida investigación y desarrollo de IA. |
Perplexity
| Bot | Type | What it does |
|---|
| PerplexityBot | Search | Indexa webs para mostrarlas y enlazarlas en los resultados de búsqueda de Perplexity. |
| Perplexity-User | User action | Visita tu web en directo cuando un usuario hace una pregunta en Perplexity que requiere consultar tu página. |
Microsoft
| Bot | Type | What it does |
|---|
| Bingbot | Mixed | Rastrea la web para el buscador Bing y alimenta también las respuestas de Microsoft Copilot. |
Meta
| Bot | Type | What it does |
|---|
| Meta-ExternalAgent | Training | Rastrea la web para entrenar los modelos de IA de Meta (Llama) y para indexar contenido en sus productos. |
| Meta-ExternalFetcher | User action | Descarga enlaces concretos que piden los usuarios y asiste a las capacidades agénticas de la IA de Meta. |
Apple
| Bot | Type | What it does |
|---|
| Applebot | Search | Rastrea la web para las funciones de búsqueda de Apple: Siri, Spotlight y sugerencias de Safari. |
| Applebot-Extended | Training | Token de control que decide si Apple puede usar tu contenido para entrenar los modelos de Apple Intelligence. |
Amazon
| Bot | Type | What it does |
|---|
| Amazonbot | Mixed | Rastrea la web para mejorar productos y servicios de Amazon, como las respuestas de Alexa, y puede usarse para entrenar sus modelos de IA. |
ByteDance
| Bot | Type | What it does |
|---|
| Bytespider | Training | Recopila contenido web de forma masiva para entrenar los modelos de IA de ByteDance, la empresa de TikTok y Doubao. |
Common Crawl
| Bot | Type | What it does |
|---|
| CCBot | Training | Crea un archivo abierto de la web que sirve de base de entrenamiento para muchos modelos de IA. |
Cohere
| Bot | Type | What it does |
|---|
| cohere-training-data-crawler | Training | Recopila contenido web público para entrenar los modelos de lenguaje de Cohere, orientados a empresas. |
Mistral AI
| Bot | Type | What it does |
|---|
| MistralAI-User | User action | Visita tu web cuando un usuario de Vibe, el asistente de Mistral, hace una pregunta que requiere consultarla. |
DuckDuckGo
| Bot | Type | What it does |
|---|
| DuckAssistBot | Search | Recoge contenido para DuckAssist, las respuestas generadas con IA del buscador DuckDuckGo. |
You.com
| Bot | Type | What it does |
|---|
| YouBot | Search | Descubre e indexa páginas web para que el buscador y los asistentes de IA de You.com den respuestas actualizadas. |
Diffbot
| Bot | Type | What it does |
|---|
| Diffbot | Mixed | Extrae datos estructurados de páginas web para construir una base de conocimiento que usan empresas y sistemas de IA. |
Allen Institute for AI
| Bot | Type | What it does |
|---|
| AI2Bot | Training | Recopila documentos web para crear datasets abiertos con los que entrenar y evaluar modelos de lenguaje de Ai2. |
xAI
| Bot | Type | What it does |
|---|
| GrokBot | Mixed | Recupera contenido web para Grok, el asistente de IA de xAI integrado en X (antes Twitter). |
Huawei
| Bot | Type | What it does |
|---|
| PetalBot | Mixed | Rastrea la web para Petal Search, el buscador de Huawei, y los servicios de su ecosistema. |
Hive
| Bot | Type | What it does |
|---|
| ImagesiftBot | Mixed | Recopila imágenes públicas y su contexto para los productos de inteligencia web e IA de Hive. |