Klippradar crawler information

Vad KlippradarBot gör

KlippradarBot hämtar produktdata för att uppdatera priser, tillgänglighet, kampanjer och produktmatchningar på Klippradar. Vi använder crawlern för prisjämförelse och kvalitetskontroll, inte för att kopiera hela butikers innehåll.

Hur vi respekterar era regler

• Vi respekterar robots.txt och tydliga blockeringsregler.
• Vi arbetar med per-handlare-begränsningar för samtidighet, fördröjning och backoff.
• Vi använder villkorliga förfrågningar där det går, till exempel ETag och Last-Modified.
• Vi pausar eller sänker tempot vid 403, 429, 5xx eller tydliga driftproblem.

Whitelisting och kontakt

Om ni använder Cloudflare, Vercel, Akamai eller annan edge/WAF och vill släppa igenom vår crawler, kan ni tillåta vår User-Agent och kontakta oss för aktuell källinfrastruktur. Våra crawl-pooler kan ligga på delad eller dedikerad Hetzner-kapacitet beroende på handlare och SLA.

Kontakt för crawlfrågor, rate limits och whitelistning: [email protected]

Produktfeeds

Vi rekommenderar produktfeed som komplement till crawling. Feed ger bättre strukturerad data, medan crawling verifierar pris, lagerstatus, tillgänglighet och avvikelser på produktsidan.

Vad vi gärna ser från er

• stabila produkt-URL:er och tydliga canonicals
• ETag, Last-Modified och rimliga Cache-Control-headers
• uppdaterade XML-sitemaps
• produktfeed med GTIN, MPN, lagerstatus och pris
• kontaktväg för crawltekniska frågor

What KlippradarBot does

KlippradarBot fetches product pages to keep prices, availability, promotions, and product matching current on Klippradar. The bot exists to support neutral price comparison and data quality, not to mirror full merchant sites.

How we crawl

• We respect robots.txt and explicit crawl restrictions.
• We use merchant-specific concurrency limits, pacing, and exponential backoff.
• We prefer conditional requests where possible, including ETag and Last-Modified.
• We automatically slow down or pause on repeated 403, 429, 5xx, or timeout signals.

Whitelisting and routing

If your storefront is protected by Cloudflare, Vercel, Akamai, or a similar edge/WAF layer, you can allow our crawler by User-Agent and coordinate IP or route-level access with us. We operate both shared and dedicated crawl pools depending on merchant size and agreed freshness targets.

Contact: [email protected]

Feeds are welcome

We support merchant product feeds and treat them as the structured baseline. Crawling is then used to verify live price, stock, campaign state, and page-level drift.

Best-practice merchant setup

• stable PDP URLs and clean canonical tags
• ETag, Last-Modified, and sensible Cache-Control headers
• fresh XML sitemaps
• product feeds with GTIN, MPN, stock, and price
• a clear technical contact for crawler coordination