Til webmastere

Om WebfalkenBot

WebfalkenBot er Webfalkens crawler. Den besøger websites, som en kunde har bedt os gennemgå, og identificerer sig med denne user-agent:

WebfalkenBot/1.0 (+https://webfalken.dk/bot)

Hvad den gør

Crawleren henter offentligt tilgængelige sider og ressourcer for at finde tekniske forhold om cookies og indlejringer, så cookieløsningen kan holdes opdateret. Den forsøger ikke at logge ind eller omgå adgangskontrol.

En almindelig gennemgang holder sig til samme website, højst 50 sider og højst to samtidige forespørgsler. Crawleren følger som udgangspunkt robots.txt.

Hvis du ser uønskede besøg

Du kan afvise crawleren i robots.txt ved at bruge user-agent-navnet WebfalkenBot. Er trafikken uventet, eller påvirker den dit website, så skriv til mail@noerpol.dk med domæne, tidspunkt og relevante loglinjer. Så undersøger vi besøget.