VelenPublicWebCrawler
VelenPublicWebCrawler es el rastreador desarrollado por Velen.io para alimentar la infraestructura de datos de Hunter.io, una plataforma de prospección de emails y datos de empresa. Su objetivo declarado es construir bases de datos de negocios y entrenar modelos de aprendizaje automático para entender mejor la web. Solo visita páginas públicas, respeta el archivo robots.txt y espera al menos dos segundos entre peticiones al mismo dominio. Si tu web aparece en sus datos, tu negocio tiene más posibilidades de ser conocido por los sistemas de IA que Hunter.io alimenta.
- User-agent
VelenPublicWebCrawlerMozilla/5.0 (compatible; VelenPublicWebCrawler/1.0; +https://velen.io)- ¿Respeta robots.txt?
- Sí
- Documentación oficial
- https://velen.io/
Cómo permitirlo en tu robots.txt
User-agent: VelenPublicWebCrawler
Allow: /Cómo bloquearlo (no recomendado)
User-agent: VelenPublicWebCrawler
Disallow: /Preguntas frecuentes
¿Debo bloquear a VelenPublicWebCrawler?
Depende de tu objetivo. Si quieres que tu negocio aparezca en plataformas y modelos de IA que usan datos de Hunter.io, no tiene sentido bloquearlo. El rastreador solo accede a contenido público, respeta tus reglas de robots.txt y no sobrecarga el servidor.
¿Cómo afecta este rastreador a la visibilidad de mi negocio en la IA?
Velen recoge contenido público para entrenar modelos de aprendizaje automático. Cuanto más clara y completa sea la información de tu web, más probable es que esos modelos aprendan quién eres y qué ofreces. No garantiza menciones directas, pero sí mejora las probabilidades de que tu negocio forme parte de esos datos.
¿Cómo sé si VelenPublicWebCrawler está visitando mi web?
Consulta los registros de acceso (logs) de tu servidor o el panel de tu CDN, por ejemplo Cloudflare. Busca el término VelenPublicWebCrawler en el campo user-agent. Cada visita queda registrada con ese identificador.