Kan AI læse dit indhold?

Læs vores guide til GEO optimering

Det handler ikke kun om Google længere

I årevis har vi optimeret til Google. Det gør vi stadig – og det skal vi blive ved med. Men spillepladen har fået nye spillere. ChatGPT, Gemini, Perplexity og en stribe andre AI-tjenester svarer nu direkte på brugernes spørgsmål. Og de henter deres viden fra nettet – fra sider som din.

Problemet? Mange hjemmesider blokerer ubevidst disse AI-crawlere. Det sker gennem robots.txt, meta-tags eller simpelthen fordi sidens indhold kræver JavaScript for at blive vist. Og de fleste AI-crawlere kan ikke eksekvere JavaScript.

Resultatet er, at dit indhold bliver usynligt i AI-genererede svar. Du mister synlighed i en kanal, der vokser eksplosivt.

Hvad tester værktøjet?

Vores AI crawler adgangs-tjek analyserer tre ting for otte forskellige AI-crawlere:

robots.txt

Her tjekker vi, om din robots.txt-fil specifikt blokerer AI-crawlere som GPTBot, Google-Extended, ClaudeBot, PerplexityBot og flere. Mange WordPress-plugins og sikkerhedsopsætninger tilføjer blokeringer, du måske slet ikke er klar over.

Meta-tags og headers

Nogle sider bruger meta robots-tags som noai eller bot-specifikke direktiver til at blokere AI-indeksering. Vi tjekker også for X-Robots-Tag HTTP headers, der kan gøre det samme fra server-siden.

JavaScript-afhængighed

Det her er den, de fleste overser. Hvis din side er bygget som en Single Page Application – med React, Vue eller Angular – og indholdet først renderes via JavaScript, ser AI-crawlerne bogstaveligt talt en tom side.

Værktøjet måler, hvor meget synlig tekst der findes i den rå HTML, og giver dig en risikovurdering: lav, medium eller høj.

Hvilke AI-crawlere tjekker vi?

Vi tester adgang for otte crawlere:

GPTBot fra OpenAI, Google-Extended fra Gemini, anthropic-ai og ClaudeBot fra Anthropic, Bytespider fra ByteDance, CCBot fra Common Crawl, PerplexityBot fra Perplexity AI og cohere-ai fra Cohere.

Det dækker de mest relevante AI-tjenester, der i dag trækker data fra nettet.

Hvorfor er det vigtigt for dig?

Forestil dig, at en potentiel kunde spørger ChatGPT: "Hvem er den bedste leverandør af X i Danmark?" Hvis dit indhold er usynligt for GPTBot, bliver du aldrig nævnt i svaret. Uanset hvor god din SEO ellers er.

Det er den nye virkelighed. AI-synlighed er ikke en fremtidsting – det er nu.

Sådan bruger du værktøjet

Gå ind på siden, indtast din URL og tryk "Tjek URL". Inden for få sekunder får du et komplet overblik over, hvilke AI-crawlere der har adgang, hvilke der er blokeret, og om din sides indhold overhovedet er synligt uden JavaScript.

Hvis der er problemer, får du konkrete anbefalinger til, hvad du kan gøre.

Hvad gør du, hvis du er blokeret?

Tre typiske scenarier:

Din robots.txt blokerer AI-crawlere

Tjek din robots.txt-fil. Mange har linjer som User-agent: GPTBot efterfulgt af Disallow: / uden at vide det. Fjern blokeringen for de crawlere, du ønsker adgang fra.

Dit indhold kræver JavaScript

Hvis du kører et SPA-framework, bør du implementere server-side rendering. Det sikrer, at crawlere – både Googles og AI-tjenesternes – kan læse dit indhold direkte fra HTML-responsen.

Meta-tags blokerer indeksering - måske

Kig efter <meta name="robots" content="noai"> eller lignende tags i din sides kildekode. De kan sidde i et theme eller plugin, du ikke har tænkt over. Disse meta tags er ikke officielt anerkendte, og der er absolut ingen garanti for, at diverse AI bots vil overholde dem. Men hvis du vil være sikker på, at dit indhold er åbent, skal de ikke være der.

Det koster ikke noget

Værktøjet er gratis. Ingen registrering, ingen begrænsninger – udover at du ikke kan hamre løs med 100 forespørgsler i minuttet. Det er bygget til at give dig et hurtigt overblik, så du kan handle på det.

Og det er jo det, det handler om. Ikke bare at vide – men at gøre noget ved det.

Rosenstand out!