# Robots.txt

> En lille tekstfil kan styre, hvor nettets robotter må gå hen på dit website. Den hedder robots.txt, og den misforstås overraskende ofte

## Metadata

- URL: https://www.concept-i.dk/ordbog/robots-txt.html
- Markdown URL: https://www.concept-i.dk/ordbog/robots-txt.md
- Published: 2026-06-20T18:20:46+02:00
- Modified: 2026-06-20T18:20:46+02:00

## Content

En lille tekstfil  kan styre, hvor nettets robotter må gå hen på dit website. Den hedder robots.txt, og den misforstås overraskende ofte – med dyre konsekvenser.

## Hvad er robots.txt?

robots.txt er en tekstfil, der ligger i roden af dit website og fortæller crawlere, hvilke stier de må og ikke må hente. Det er vigtigt at forstå én ting præcist: robots.txt styrer crawling, ikke indeksering. En side, du blokerer i robots.txt, kan stadig ende i søgeresultaterne, hvis andre linker til den. Filen er et stærkt værktøj til at styre crawl budget på store websites, men den bruges jævnligt forkert. I 2026 er den desuden blevet frontlinjen i spørgsmålet om, hvorvidt AI-systemer må bruge dit indhold – og det er her, de fleste og dyreste fejl nu sker.

## Hvad gør robots.txt?

Forestil dig robots.txt som et skilt ved indgangen til en bygning. Skiltet siger: “Personale forbudt adgang til lager og kælder.” De fleste besøgende respekterer skiltet og bliver i de åbne områder. Sådan fungerer robots.txt over for nettets robotter.

Filen ligger altid samme sted: `dindomæne.dk/robots.txt`. Her kan du angive regler for, hvilke robotter der må hente hvilke dele af dit website. En typisk regel ser sådan ud:

```
User-agent: *
Disallow: /admin/
Disallow: /kurv/
```

Det betyder: alle robotter må ikke hente sider under /admin/ og /kurv/. Det giver god mening – ingen grund til, at Google spilder tid på din administrationsside eller en tom indkøbskurv.

Et vigtigt forbehold: robots.txt bygger på frivillighed. De velopdragne robotter som Googlebot respekterer den. Men aggressive eller ondsindede crawlere kan ignorere den fuldstændigt. Filen er en anvisning, ikke en mur. Vil du virkelig spærre noget af, kræver det andre midler end et skilt ved døren.

## Den kritiske misforståelse: crawling er ikke indeksering

Her begår selv erfarne folk fejl. Mange tror, at hvis de blokerer en side i robots.txt, så forsvinder den fra Google. Det er forkert. Og misforståelsen kan koste dyrt.

robots.txt forhindrer robotten i at **hente** siden. Men den forhindrer ikke siden i at blive indekseret. Linker andre websites til siden, kan Google godt vise den i resultaterne – blot uden at kunne beskrive indholdet, fordi robotten aldrig fik lov at læse det. Resultatet er det værst tænkelige: siden er synlig i Google, men fremstår tom og uattraktiv.

| Dit mål | Forkert værktøj | Rigtigt værktøj |
| --- | --- | --- |
| Spare crawl budget | – | robots.txt |
| Holde en side ude af Google | robots.txt alene | noindex-tag |
| Skjule en side helt for verden | robots.txt | adgangskode eller login |

Vil du virkelig holde en side ude af søgeresultaterne, skal du bruge en **noindex**-instruktion – og ironisk nok må du så ikke blokere siden i robots.txt, for ellers kan Google ikke se noindex-koden. Robotten skal jo have lov at hente siden for at læse instruktionen om at holde den ude. De to værktøjer skal altså bruges med omtanke og aldrig samtidigt på samme side.

### robots.txt og crawl budget

På store websites er robots.txt et strategisk værktøj. Ved at blokere uvæsentlige stier – filtreringssider, interne søgeresultater, endeløse parameterkombinationer – sikrer du, at robotten bruger sit crawl budget på dine vigtige sider i stedet for at fare vild i blindgyder.

For en lille blog med tres sider er det sjældent relevant. For en webshop med hundredtusindvis af URL-varianter kan det være forskellen på, om de vigtige produktsider overhovedet bliver crawlet.

### Robots.txt og AI-crawlerne

Her bliver 2026 for alvor interessant. robots.txt er blevet det centrale sted at styre, om AI-systemer må bruge dit indhold. Du kan nu angive regler specifikt for AI-robotter, og der findes efterhånden mere end tyve af dem.

Men her ligger en helt afgørende sondring, som mange overser: AI-crawlere er ikke én ting. De falder i to grupper med vidt forskellig betydning for dig.

| Type | Eksempler | Hvad sker der, hvis du blokerer? |
| --- | --- | --- |
| Træningscrawlere | GPTBot, ClaudeBot, Google-Extended, CCBot | Dit indhold bruges ikke til at træne modellen |
| Hentecrawlere | OAI-SearchBot, Claude-SearchBot, PerplexityBot | Du forsvinder fra AI’ens svar i realtid |

Forskellen er stor. Træningscrawlere indsamler indhold til at træne modellerne. Blokerer du dem, holder du dit indhold ude af træningsdataene – men det påvirker ikke, om du dukker op, når en bruger spørger AI’en lige nu. Hentecrawlere derimod henter indhold i det øjeblik, en bruger stiller et spørgsmål. Blokerer du dem, forsvinder du fra svarene.

Den mest udbredte strategi i 2026 er derfor at adskille de to: bloker eventuelt træningscrawlerne for at beskytte dit indhold, men lad hentecrawlerne komme ind, så du stadig optræder i AI-svarene. En meget brugt variant er at blokere OpenAI’s GPTBot (træning), men tillade OAI-SearchBot (realtidssøgning) – så bidrager du ikke til træningen, men er stadig synlig i ChatGPT.

En vigtig detalje om netop Google: deres AI-styring hedder Google-Extended, og den kontrollerer kun, om dit indhold må bruges til at træne Geminis AI-modeller. Den påvirker overhovedet ikke din placering i Google Søgning, der styres af den helt separate Googlebot. Du kan altså trygt blokere Google-Extended uden at røre din synlighed i søgningen.

## Den dyreste fejl: utilsigtet blokering

Her er det problem, der gør størst skade, og som er forbløffende udbredt. Mange websites blokerer ved et uheld de AI-crawlere, de gerne ville have lukket ind. Det sker typisk på to måder.

Den første er en kopieret skabelon. Man henter en robots.txt-skabelon fra nettet uden at forstå linjerne og spærrer dermed for robotter, man ikke ønskede at spærre for. Den anden er endnu mere lumsk: serveren eller dit CDN – for eksempel Cloudflare – afviser automatisk de nye AI-robotter på infrastrukturniveau, helt uden om din robots.txt. Undersøgelser peger på, at op mod 27 procent af visse typer websites uforvarende blokerer store AI-crawlere netop på dette niveau. Din robots.txt kan altså se helt korrekt ud, mens blokeringen sker et helt andet sted.

Resultatet er det samme: man bliver usynlig i AI-søgning uden at have truffet et bevidst valg om det. Og symptomet – fravær fra AI-svar – ligner til forveksling bare manglende synlighed, så fejlen opdages sjældent af sig selv.

Der er endnu en faldgrube, der intet har med robots.txt at gøre, men ofte forveksles med den. Henter en AI-crawler din side, læser den tit kun den rå HTML fra serverens første svar. Undersøgelser tyder på, at langt størstedelen af AI-crawlere ikke kan køre JavaScript. Ligger dit vigtige indhold gemt bag JavaScript, ser robotten en næsten tom side – uanset hvor pænt din robots.txt giver den adgang. Server-side rendering eller statiske sider sikrer, at indholdet er der med det samme.

## Et skarpt værktøj, der kræver omhu

Hos Concept Interest gennemgår vi altid robots.txt nøje i en teknisk SEO-analyse – og i 2026 tjekker vi lige så grundigt CDN-laget og adgangen for de enkelte AI-crawlere. Det er en lille fil, men en enkelt forkert linje kan spærre for hele dit website. Vi har set tilfælde, hvor en glemt `Disallow: /` har holdt et helt website ude af Google, og tilfælde, hvor en virksomhed undrede sig over sit fravær i AI-svar uden at vide, at deres CDN lydløst afviste robotterne.

robots.txt er et skarpt værktøj. Brugt rigtigt sparer det ressourcer, styrer robotterne hen, hvor du vil have dem, og giver dig bevidst kontrol over, hvilke AI-systemer der må bruge dit indhold. Brugt forkert kan det gøre dig usynlig – i søgningen, i AI-svarene eller begge steder. Derfor er en regelmæssig kontrol af, hvad der faktisk står i filen, og hvad dit CDN gør bag om den, en af de mest oversete, men værdifulde rutiner i teknisk SEO.

[Læs mere om emnet her](https://www.concept-i.dk/blog/sadan-bruger-du-robotstxt.md).