Teknisk dokumentation
Crawleridentitet
Så identifierar sig KlippradarBot och så fungerar vårt crawlbeteende mot svenska handlare.
User-Agent
KlippradarBot/1.0 (+https://klippradar.se/crawler; mailto:[email protected])
Grundprinciper
- Vi respekterar
robots.txt. - Vi använder handlarspecifik pacing, samtidighetsgränser och backoff.
- Vi minskar tempo eller pausar vid
403,429,5xxoch andra tydliga felmönster. - Vi använder villkorliga förfrågningar där det går, till exempel
ETagochLast-Modified.
Kontakt
För crawlrelaterade frågor, whitelistning eller särskilda regler: