Onze bot
IndudexBot leest openbare vacatures voor Indudex, een gratis zoekmachine voor technische banen in Europa.
User-Agent
Mozilla/5.0 (compatible; IndudexBot/1.0; +https://indudex.com/about/our-bot)
Hoe hij leest
Hij leest alleen openbare pagina's: geen logins, formulieren of botcontroles. Hij volgt de robots.txt van elke site en de gevraagde Crawl-delay, en spreidt zijn verzoeken aan elke server.
Buitensluiten
Voeg deze regels toe aan je robots.txt:
User-agent: IndudexBot Disallow: /
Handtekening
Elk verzoek is ondertekend met Web Bot Auth (HTTP Message Signatures, RFC 9421). De publieke sleutels staan in de sleutelmap.
Contact
Vragen, klachten of een site om over te slaan: contact@indudex.com.