LagervarselBot
LagervarselBot henter lagerstatus og priser for forseglede samlekort fra norske nettbutikker, slik at Lagervarsel kan vise dem og varsle når noe kommer på lager. Denne siden er for butikkene.
Hva boten henter
Produktsider, kategorisider og produktfeeder for samlekort, slik de ligger åpent på nettsiden, og produktbilder, for å velge ett bilde per produkt. Ingenting bak innlogging.
Boten legger aldri noe i handlekurven, logger aldri inn og fyller aldri ut skjemaer.
Hvor ofte
Hver butikk har et mål fra én sjekk hvert minutt til én hvert 60. minutt. Målet er hvert minutt for 56 av 105 butikker. Målt median mellom to sjekker siste døgn: 107 s, per butikk på Butikker. Tar en sjekk lang tid, starter neste tidligst etter fire ganger så lang tid: en sjekk som tar fem minutter, starter høyst hvert 20. minutt. Boten sender én forespørsel om gangen til hver butikk, med minst ett sekund mellom dem, og lengre når robots.txt ber om det med Crawl-delay.
Mellom sjekkene kan boten lese noen produktsider på nytt hos butikker på Shopify og WooCommerce: én runde i minuttet for varer som nettopp kom på lager eller som mange følger, hos butikker med to minutter eller mer mellom de hele sjekkene, og oftere for varer som brukere følger. Det er høyst 12 sider om gangen, og samme regel med én forespørsel om gangen gjelder. Hos butikker som har bedt om roligere takt, leser boten ikke produktsider mellom de hele sjekkene.
Hos store butikker der en hel sjekk tar lang tid, leser boten i tillegg én side med de nyeste eller sist endrede varene, hvert eller annethvert minutt, og sjekker hele butikken sjeldnere for å veie opp, slik at butikken ikke får flere forespørsler i timen enn før. Dette gjelder ikke butikker som har bedt om roligere takt. Hos WooCommerce-butikker sjekkes den siden mot robots.txt først, og blir den stengt der, leses den ikke.
Når butikken støtter ETag, spør boten med If-None-Match, og en uendret side koster bare et 304-svar.
En butikk kan be om roligere takt gjennom kontaktinformasjonen under «Kontakt». Butikken leses da bare med hele sjekker, med intervallet som er satt for butikken, og boten leser ikke produktsider mellom de hele sjekkene. Et produktbilde fra en slik butikk henter boten bare når produktet mangler bilde hos Lagervarsel, ikke på nytt hver dag.
Når butikken sier stopp
Svarer butikken 429 eller 503, venter boten så lenge Retry-After ber om, opptil 10 minutter, før den spør igjen. Feiler en sjekk, dobles ventetiden for hver feil på rad, opptil 30 minutter. Boten går aldri rundt sperrer eller annen beskyttelse mot roboter. En butikk som stenger boten ute, vises ikke på Lagervarsel.
Slik vises butikken
Lenkene til butikken er vanlige lenker med utm_source=lagervarsel, så trafikken synes i statistikken deres. Ingen butikk betaler for å være med eller for plassering, og billigste pris står alltid først. Mer om metoden står på Om Lagervarsel.
Nyheter
Boten leser også nyhetslistene til noen få kilder om samlekort, hver tredje time: listen, og høyst noen få artikkelsider per kilde hver gang. Den sender én forespørsel om gangen til hvert nettsted, med minst to sekunder mellom dem, og lengre når robots.txt ber om det. Nettsteder som ikke tillater roboter i vilkårene sine, eller som stenger dem ute, leses ikke.
User-Agent
Sjekkene av norske nettbutikker, produktsidene som leses på nytt, produktbildene og oppslagene i Enhetsregisteret: LagervarselBot/0.1 (+https://lagervarsel.no/bot)
Nyhetslistene, kortkatalogen og kortprisene, og én lesing i døgnet av priser hos noen utenlandske butikker: LagervarselBot/1.0 (+https://lagervarsel.no/bot)
Kontakt
Sjeldnere sjekk, produktfeed, rettelser eller stopp: post@lagervarsel.no.
Tettere samarbeid (feed, utgivelsesdatoer, rettelser): For butikker.