Nuestro bot
IndudexBot lee ofertas de empleo públicas para Indudex, un buscador gratuito de empleo técnico en Europa.
User-Agent
Mozilla/5.0 (compatible; IndudexBot/1.0; +https://indudex.com/about/our-bot)
Cómo lee
Solo lee páginas públicas: nada de inicios de sesión, formularios ni controles de bots. Sigue el robots.txt de cada web y el Crawl-delay que pide, y espacia sus peticiones a cada servidor.
Dejarlo fuera
Añade estas líneas a tu robots.txt:
User-agent: IndudexBot Disallow: /
Firma
Cada petición va firmada con Web Bot Auth (HTTP Message Signatures, RFC 9421). Sus claves públicas están en su directorio de claves.
Contacto
Preguntas, quejas o una web que dejar fuera: contact@indudex.com.