Bytespider
Bytespider es el rastreador de ByteDance, la matriz de TikTok, y recoge datos para entrenar sus modelos de IA como Doubao. Es un caso especial: ByteDance no publica documentación oficial del bot y hay múltiples informes documentados de que ignora las reglas de robots.txt, con volúmenes de rastreo muy agresivos. Si te causa problemas de carga, la única forma fiable de frenarlo es el bloqueo a nivel de servidor o CDN.
- User-agent
Bytespider- ¿Respeta robots.txt?
- No — ignora las reglas
- Documentación oficial
- https://crawlercheck.com/directory/scrapers/bytespider
Cómo permitirlo en tu robots.txt
User-agent: Bytespider
Allow: /Cómo bloquearlo (no recomendado)
User-agent: Bytespider
Disallow: /Preguntas frecuentes
¿Debo bloquear a Bytespider?
Depende. Si quieres visibilidad en los asistentes de IA de ByteDance, permítelo. Pero si su rastreo agresivo sobrecarga tu servidor, es de los pocos bots de IA donde un bloqueo (a nivel de servidor, no solo robots.txt) puede estar justificado.
¿Bytespider respeta el robots.txt?
No de forma fiable. Hay informes documentados y repetidos de Bytespider rastreando páginas expresamente prohibidas en robots.txt. Si necesitas frenarlo de verdad, usa reglas de firewall en tu servidor o CDN (por ejemplo Cloudflare).
¿Cómo sé si Bytespider visita mi web?
Busca "Bytespider" en los logs de tu servidor. Es conocido por generar volúmenes de peticiones muy altos, así que si tu web va lenta de repente, merece la pena comprobarlo.