AI-crawlere

Ved siden af Googles velkendte robot er der kommet en hel ny slægt af robotter, der gennemsøger nettet på vegne af AI-systemer. De hedder ting som GPTBot, ClaudeBot og PerplexityBot, og om du lukker dem ind eller ej, afgør, om du findes i AI-svarene.

Hvad er en AI-crawler?

En AI-crawler er en automatisk robot, der henter indhold fra websites på vegne af et AI-system – enten for at træne modellen eller for at hente information i realtid, når en bruger stiller et spørgsmål. De fungerer ligesom søgemaskinernes klassiske crawlere, men tjener AI-systemerne frem for de traditionelle søgeresultater. De vigtigste i 2026 er blandt andre GPTBot, OAI-SearchBot og ChatGPT-User fra OpenAI, ClaudeBot fra Anthropic, PerplexityBot fra Perplexity samt Google-Extended. Du styrer deres adgang i din robots.txt – og netop dér begås der dyre fejl.

De forskellige typer crawlere

Det er værd at forstå, at AI-crawlere ikke er én ting. De tjener forskellige formål, og man kan ofte styre dem hver for sig:

Det vigtige er, at du kan tillade nogle og blokere andre. Du kan for eksempel vælge at lukke træningscrawlerne ude, mens du lader realtidssøgerne komme ind, så du stadig dukker op i svar uden at bidrage til træningen.

Det strategiske dilemma

Her ligger en reel afvejning, hver virksomhed må tage stilling til. Blokerer du AI-crawlerne, beskytter du dit indhold mod at blive brugt til at træne modellerne. Det kan føles som at beskytte sin ejendom.

Men der er en pris. Blokerer du dem, forsvinder du også fra de svar, AI’en giver. Og for de fleste virksomheder er synligheden mere værd end beskyttelsen. At blive nævnt og anbefalet af en AI, stadig flere bruger, er en mulighed, man sjældent har råd til at lukke af for. For langt de fleste opvejer synlighedsgevinsten den teoretiske risiko ved at bidrage til træning.

Pas på utilsigtet blokering

Her er den dyreste fejl, og den er overraskende udbredt. Mange websites blokerer ved et uheld AI-crawlerne uden at vide det. Det sker typisk på to måder: enten har man kopieret en robots.txt-skabelon, der spærrer dem, eller også afviser ens server eller CDN – for eksempel via Cloudflare – automatisk de nye robotter.

Resultatet er, at man bliver usynlig i AI-søgning uden at have truffet et bevidst valg om det. Man tror måske, man bare ikke bliver citeret, mens sandheden er, at AI’en aldrig fik lov at læse indholdet. Det er værd at tjekke aktivt, for symptomet – fravær fra AI-svar – ligner til forveksling bare manglende synlighed.

Der er også en teknisk detalje værd at kende. AI-crawlere, der henter indhold i realtid, har ofte mindre tålmodighed end Googlebot. De læser tit kun den rå HTML fra serverens første svar. Ligger dit vigtige indhold gemt bag JavaScript, risikerer du, at AI’en aldrig ser det – selv hvis crawleren har adgang. Server-side rendering eller statiske sider sikrer, at indholdet er der med det samme.

Hos Concept Interest tjekker vi altid adgangen for AI-crawlere som en del af en teknisk gennemgang, netop fordi den utilsigtede blokering er så almindelig og så dyr. Det er en lille ting at kontrollere, men konsekvensen af at overse den er stor: total usynlighed i en søgekanal, der vokser måned for måned. I en tid, hvor stadig flere finder svar gennem AI, er det at lukke robotterne ind blevet lige så grundlæggende, som det engang var at lukke Googlebot ind. Den, der vil findes, må sørge for, at døren står åben.