Meta-ExternalFetcher
Meta-ExternalFetcher es el bot de Meta que descarga enlaces individuales cuando un usuario los solicita y ayuda a sus IAs "agénticas" a navegar webs para completar tareas. No es un rastreador masivo: actúa a petición. Si lo bloqueas, los asistentes de Meta no podrán consultar tu web cuando un usuario lo pida, y tu contenido quedará fuera de esas respuestas.
- User-agent
meta-externalfetchermeta-externalfetcher/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)- ¿Respeta robots.txt?
- Parcialmente
- Documentación oficial
- https://developers.facebook.com/docs/sharing/webmasters/web-crawlers
Cómo permitirlo en tu robots.txt
User-agent: meta-externalfetcher
Allow: /Cómo bloquearlo (no recomendado)
User-agent: meta-externalfetcher
Disallow: /Preguntas frecuentes
¿Debo bloquear a Meta-ExternalFetcher?
No es recomendable. Sus visitas responden a peticiones de usuarios reales dentro de los productos de Meta. Bloquearlo solo consigue que esos usuarios reciban respuestas sin tu contenido.
¿Meta-ExternalFetcher respeta el robots.txt?
Parcialmente. La documentación de Meta avisa de que puede saltarse las reglas de robots.txt porque sus descargas las solicita directamente un usuario, de forma parecida a ChatGPT-User de OpenAI.
¿Cómo sé si Meta-ExternalFetcher visita mi web?
Busca "meta-externalfetcher" en los logs de tu servidor. Cada aparición indica que un usuario de los productos de Meta pidió contenido de tu web a través de su IA.