Om InsajtsBot

InsajtsBot är webbläsaren som Insajts använder för att läsa av svenska företags webbplatser. Om du ser InsajtsBot i dina serverloggar är det vi.

InsajtsBot/0.1 (+https://insajts.se/bot)

Vad InsajtsBot gör

Insajts visar vilken teknik svenska bolag använder på sina webbplatser, till exempel e-handelsplattform, betal- och fraktlösningar och samtyckesverktyg. För det läser InsajtsBot av .se- och .nu-domäner ungefär en gång i månaden. Listan över domäner kommer från Internetstiftelsens zonfiler för .se och .nu (CC BY 4.0).

På varje webbplats hämtar vi startsidan och högst ett tjugotal undersidor som den länkar till: först de som brukar innehålla bolagsuppgifter, som kontakt, om oss, villkor och integritetspolicy, sedan länkarna i sidfoten och menyn. Vi hämtar aldrig hela webbplatsen.

Webbutiker

Är webbplatsen en webbutik på en plattform vi känner igen, läser InsajtsBot också butikens publika produktlista eller produktsitemaps, ungefär en gång i veckan. Det är listor som plattformen själv lämnar ut till alla besökare. Av dem räknar vi fram ett sammandrag av sortimentet: antal produkter, och från Shopify och WooCommerce också varumärken, valutor, prisnivå, andel på rea och hur många produkter som är nya, och från Shopify leveransländer. Vi sparar aldrig produktlistan, enskilda produkter, priser, texter eller bilder. Vi lägger aldrig något i varukorgen, går aldrig till kassan och skapar aldrig konton.

Det här läser vi per plattform, med raden som stänger ute just det:

• Shopify: /meta.json och produktlistan /products.json, sida för sida. Disallow: /meta.json och Disallow: /products.json.
• WooCommerce: produktlistan i butikens Store API, /wp-json/wc/store/v1/products, sida för sida. Disallow: /wp-json/wc/store/.
• Abicart: /sitemap.xml och dess produktdel. Disallow: /sitemap.
• Norce: /googlesitemap.axd med produktsidorna, eller /sitemap.xml och dess produktsitemaps. Disallow: /googlesitemap.axd och Disallow: /sitemap.
• PrestaShop: /1_index_sitemap.xml och sitemaps som /1_sv_0_sitemap.xml. Disallow: /*_sitemap.xml.
• Quickbutik: /sitemap.xml, sida för sida. Disallow: /sitemap.
• Starweb: /sitemap.xml och produktsitemaps som /sitemap-products-sv-1.xml. Disallow: /sitemap.

Hittar vi ingen sitemap där plattformen brukar ha den läser vi de sitemaps som din robots.txt pekar ut med Sitemap: på samma domän. Stäng i så fall ute deras sökvägar också.

Hur vi tar hänsyn till din webbplats

• Vi följer robots.txt. Vi läser regler för InsajtsBot och för *.
• Högst en förfrågan per sekund mot samma värdnamn, även när flera av dina domäner leder dit.
• Bara öppna sidor. Vi loggar aldrig in, fyller aldrig i formulär och går aldrig förbi botskydd eller captcha. Möter vi ett botskydd går vi vidare.
• Vi sparar inte dina sidor. Sidan läses av och kastas direkt. Vi sparar bara vad vi hittade, till exempel att sajten använder Klarna, och var vi såg det. Vi noterar också hur startsidan kom, som svarstid, storlek och säkerhetsinställningar, utan några extra förfrågningar till webbplatsen. I domänens DNS läser vi dessutom om den är signerad med DNSSEC och har CAA- och MTA-STS-poster.
• Inga namngivna personer. Vi samlar bara in bolagets allmänna kontaktvägar, som telefonnummer och info@-adress, aldrig namngivna personer eller personnummer.

Stänga ute InsajtsBot

Lägg till detta i din robots.txt så besöker vi inga sidor på webbplatsen:

User-agent: InsajtsBot
Disallow: /

Det gäller från vårt nästa besök. Vill du bara stänga vissa delar skriver du de sökvägarna i stället för /. Det här stänger ute läsningen av produktlistor och produktsitemaps på alla plattformar ovan, men låter oss läsa startsidan och undersidorna som vanligt:

User-agent: InsajtsBot
Disallow: /meta.json
Disallow: /products.json
Disallow: /wp-json/wc/store/
Disallow: /sitemap
Disallow: /googlesitemap.axd
Disallow: /*_sitemap.xml

Har din robots.txt en grupp för InsajtsBot följer vi bara den och inte reglerna under User-agent: *. Ska de reglerna gälla oss också skriver du in dem i gruppen för InsajtsBot.

Kontakt

Har du frågor, eller tycker du att InsajtsBot beter sig fel på din webbplats? Mejla bot@insajts.se och berätta vilken domän det gäller, så svarar vi.

Insajts drivs av Maatson Evolving Media Group AB, org.nr 559114-9363.