Nuestro bot

IndudexBot lee ofertas de empleo públicas para Indudex, un buscador gratuito de empleo técnico en Europa.

User-Agent

Mozilla/5.0 (compatible; IndudexBot/1.0; +https://indudex.com/about/our-bot)

Cómo lee

Solo lee páginas públicas: nada de inicios de sesión, formularios ni controles de bots. Sigue el robots.txt de cada web y el Crawl-delay que pide, y espacia sus peticiones a cada servidor.

Dejarlo fuera

Añade estas líneas a tu robots.txt:

User-agent: IndudexBot
Disallow: /

Firma

Cada petición va firmada con Web Bot Auth (HTTP Message Signatures, RFC 9421). Sus claves públicas están en su directorio de claves.

Contacto

Preguntas, quejas o una web que dejar fuera: contact@indudex.com.