El nostre bot

IndudexBot llegeix ofertes de feina públiques per a Indudex, un cercador gratuït de feina tècnica a Europa.

User-Agent

Mozilla/5.0 (compatible; IndudexBot/1.0; +https://indudex.com/about/our-bot)

Com llegeix

Només llegeix pàgines públiques: res d'inicis de sessió, formularis ni controls de bots. Segueix el robots.txt de cada web i el Crawl-delay que demana, i espaia les peticions a cada servidor.

Deixa'l fora

Afegeix aquestes línies al teu robots.txt:

User-agent: IndudexBot
Disallow: /

Signatura

Cada petició va signada amb Web Bot Auth (HTTP Message Signatures, RFC 9421). Les seves claus públiques són al seu directori de claus.

Contacte

Preguntes, queixes o un web que cal deixar fora: contact@indudex.com.