Crawleridentitet

User-Agent

KlippradarBot/1.0 (+https://klippradar.se/crawler; mailto:[email protected]) - Nordic price comparison crawler. Neutral, no CPC/affiliate. Respects robots.txt.

Den här strängen syns när vår crawler testar om vi kan gå direkt mot er igen efter en tidigare 429/403. Förklaringen i slutet finns där så att er driftsansvariga ska kunna förstå från accessloggen vad botten gör, utan att behöva klicka vidare. Kontaktmailen i User-Agent går direkt till vårt crawl-team.

Grundprinciper

• Vi respekterar robots.txt.
• Vi använder handlarspecifik pacing, samtidighetsgränser och backoff.
• Vi minskar tempo eller pausar vid 403, 429, 5xx och andra tydliga felmönster.
• Vi använder villkorliga förfrågningar där det går, till exempel ETag och Last-Modified.

Kontakt

För crawlrelaterade frågor, whitelistning eller särskilda regler:

• [email protected]

Relaterat

• Whitelisting
• Produktfeeds