Crawl-budget
Google har ikke uendelig tid til dit website. Der er en grænse for, hvor mange sider robotten gider hente inden for et givet tidsrum. Den grænse kaldes crawl budget – og for store websites kan den afgøre, om vigtige sider overhovedet bliver fundet.
Hvad er crawl budget?
Crawl budget er det antal sider på dit website, som en søgemaskines robot vil og kan crawle inden for en given periode. Det bestemmes af to ting: hvor meget robotten kan crawle uden at overbelaste din server, og hvor meget den ønsker at crawle ud fra sidernes popularitet, friskhed og værdi. For langt de fleste websites er crawl budget slet ikke et problem. Det bliver først en reel begrænsning på store sites med titusindvis eller hundredtusindvis af sider. I 2026 har Google præciseret, at serverens hastighed ofte betyder mere end antallet af sider.
Hvordan beregnes det?
Crawl budget er populært sagt det mindste af to tal. Det ene er crawl-kapaciteten: hvor mange forespørgsler robotten kan sende uden at presse din server. Det andet er crawl-efterspørgslen: hvor meget Google overhovedet ønsker at crawle dit indhold. Det endelige budget er det laveste af de to.
Tre ting driver efterspørgslen op:
- Popularitet – sider med mange links og besøg crawles oftere for at holdes friske.
- Friskhed – indhold, der opdateres jævnligt, genbesøges hyppigere.
- Opfattet værdi – Google bruger mere tid på et website, den vurderer som vigtigt.
Det betyder også, at et website fyldt med dubletter, tynde sider og blindgyder sender et dårligt signal: Google ser mange URL’er, men lav værdi, og bruger sin tid forkert.
De fleste behøver ikke tænke på det
Her er en pointe, der modsiger en del af den hype, crawl budget får. For langt de fleste websites er det ikke noget at bekymre sig om. Googles egen vejledning retter sig mod sites med over en million sider, der ændres ugentligt, eller mere end ti tusind sider, der ændres dagligt. Har du under et par tusind sider, crawler Google som regel hele dit website i ét hug.
| Websitets størrelse | Er crawl budget relevant? |
|---|---|
| Under 1.000 sider | Stort set aldrig |
| 1.000-10.000 sider | Sjældent, ved rod kan det ses |
| 10.000-100.000 sider | Begynder at betyde noget |
| Over 100.000 sider | Reel, vigtig faktor |
Det betyder, at en lille virksomhedsside eller blog ikke skal bruge energi på crawl budget. Her er ren struktur, god hastighed og indekserbart indhold langt vigtigere. Crawl budget er et stort-website-problem.
Hvad spilder crawl budget?
På de store websites, hvor det betyder noget, er synderne velkendte. Dubletindhold tvinger Google til at hente snesevis af næsten ens sider. Endeløse parameteradresser fra filtre og sortering skaber millioner af URL-varianter. Døde links og serverfejl sender robotten ind i blindgyder. Og en langsom server får hele crawlaktiviteten til at falde.
Den vigtigste oprydning består derfor i at konsolidere dubletter med canonical-tags, blokere uvæsentlige stier i robots.txt, rette døde links, holde sitemappet rent og forbedre serverens svartid.
Infrastruktur slår sidetal
Her ligger 2026’s mest interessante skift. I januar 2026 sænkede Google sin HTML-crawlgrænse markant – fra 15 MB til 2 MB per side – og en talsmand præciserede samtidig, at infrastrukturens hastighed betyder mere end et websites rene størrelse. Det vendte op og ned på et årtis tankegang om crawl budget.
Du kan teste dine egne sider for 2MB grænsen her: Google 2MB grænse værktøj
Den gamle tilgang handlede om at styre antallet af URL’er. Den nye pointe er, at det afgørende ofte er, hvor hurtigt din server kan levere siderne. Et website med en halv million sider, der svarer langsomt på grund af tunge databasekald, presser sit crawl budget hårdere end et website med to millioner hurtige, færdigbyggede sider. Flaskehalsen er flyttet fra indholdsarkitektur til infrastruktur.
Det knytter sig til en AI-vinkel, der bliver stadig vigtigere. AI Overviews og AI-søgning trækker fra Googles indeks. En side skal være crawlet og indekseret, før den kan citeres i et AI-svar. Bliver en side crawlet sjældent, fordi crawl budget spildes andetsteds, risikerer den ikke at afspejle dit nyeste indhold – og dermed at blive forbigået som AI-kilde.
Hos Concept Interest tilpasser vi altid crawl budget-arbejdet til websitets faktiske størrelse. For en mindre virksomhed beroliger vi: det er ikke jeres problem, brug kræfterne på indhold og hastighed. For en stor webshop eller et nyhedssite er det derimod en af de mest udbytterige tekniske discipliner, der findes. At sikre, at Google bruger sin tid på de sider, der faktisk betyder noget – frem for at fare vild i filtre og dubletter – kan være forskellen på, om nyt indhold bliver fundet på timer eller på uger.
