El nostre bot
IndudexBot llegeix ofertes de feina públiques per a Indudex, un cercador gratuït de feina tècnica a Europa.
User-Agent
Mozilla/5.0 (compatible; IndudexBot/1.0; +https://indudex.com/about/our-bot)
Com llegeix
Només llegeix pàgines públiques: res d'inicis de sessió, formularis ni controls de bots. Segueix el robots.txt de cada web i el Crawl-delay que demana, i espaia les peticions a cada servidor.
Deixa'l fora
Afegeix aquestes línies al teu robots.txt:
User-agent: IndudexBot Disallow: /
Signatura
Cada petició va signada amb Web Bot Auth (HTTP Message Signatures, RFC 9421). Les seves claus públiques són al seu directori de claus.
Contacte
Preguntes, queixes o un web que cal deixar fora: contact@indudex.com.