Uendelige rejser for Googlebot og hans brødre

Som jeg tidligere har dokumenteret her på bloggen, er det alt for få webprogrammører, der følger med i nyheder, tips og tricks om SEO fra de udenlandske kilder. Derfor vil jeg bruge lidt spalteplads på et problem, som en del hjemmesider er ramt af, og som Google netop har skrevet om i deres officielle Webmaster Central Blog. Det kunne jo være, at nogle webansvarlige rundt omkring fulgte med her…

Til evigheden og videre?

Google og de andre søgemaskiner benytter robotter, der konstant trevler nettet igennem. Og det er jo nogle travle gutter, for der er mange hjemmesider derude. Derfor er det interessant for søgemaskinerne at økonomisere med deres tid, spare båndbredde og alt det der. Det gør de på flere fronter – bl.a. ved at undlade at følge det, de kalder for “infinite space” – det uendelige rum.

Hvad er det uendelige rum på en hjemmeside?

Det kan være flere ting, men de mest klassiske er kalenderen eller oplistningen af varer, der kan sorteres efter f.eks. størrelse, pris, farve, alder etc. Forestil dig en dynamisk genereret kalender på en hjemmeside med et link, der hedder “næste måned” Det link kan klikkes i det uendelige (teoretisk), og det gør søgerobotten. Bare ikke ret længe, for den lille fyr opdager hurtigt, at han ikke får noget reelt nyt at se på. Og så stopper han. Dermed er der en reel risiko for, at han ikke gider mere og går hjem, inden han har crawlet det, du gerne vil vise ham.

Det samme med f.eks. en webshop. Forestil dig en side med 10 bluser, der kan sorteres efter farve, størrelse, mest købte, alder etc. Det kan blive til ganske mange sider, der for en søgerobot er aldeles identiske. Og det pjat gider de ikke – de går hjem!

Google fortæller os, at deres søgerobotter er smarte nok til at regne disse ud – men indrømmer samtidig, at de langt fra opdager alle tilfælde af “infinite space”. Derfor skal du som webudvikler lukke af for, at problemet kan opstå for søgerobotten. Det har du selvfølgelig allerede gjort, ikke?

Hvordan løses problemet?

Hvis du nu alligevel ikke allerede har styr på det, kommer her et par fif, der kan løse det for dig:

  • Brug robots.txt til at blokere for crawl af dynamisk genererede URL som resultat af søgninger, i kalendere etc.
  • Hvis det er muligt, skal du undgå session ID’s i URL. Brug i stedet cookies
  • Forkort dine URL mest muligt ved at fjerne unødvendige parametre
  • Brug nofollow på f.eks. “sorter efter” funktioner i webshops

Læs resten af historien (på engelsk) hos Google her. Og lad mig minde dig om, at det stadig er uendeligt (!) meget bedre, at det er dig, der styrer Googles rundrejse på din hjemmeside, end at det er Google, der gør det.

Rosenstand out!

https://www.concept-i.dk/faq/teknisk-seo.html

Få et opkald fra Thomas Rosenstand - Så er du på vej til den ultimative SEO løsning!

Invalid Email
Invalid Number

4 kommentarer til “Uendelige rejser for Googlebot og hans brødre”

  1. Flot tegning – du er en mand med mange talenter 😉

    Og tak for indlægget.

    Tager den engelske Google version om lidt, men hvad tænker du om “Og det pjat gider de ikke – de går hjem!”?

    Jeg kunne ikke forstille mig at de forlader sitet – men vender tilbage til punktet inden “den uendelige rejse”.

    Og hivs “Content” virkelig er “King” må et sites tekniske arkitektur vel heller ikke være for stor en del af Google algoritme?

    Potter

  2. Hej Potter
    Tegningen kan jeg ikke tage æren for – jeg har absolut ikke antydning af evner i den retning.

    Altså: Robotterne går selvfølgelig ikke hjem helt bogstaveligt, men de standser deres crawl et sted undervejs. Og de har jo hukommelse, så næste gang stopper de også. Og går hjem, når de har crawlet den del af dit site, de har bestemt sig til at crawle. Ved at tage kontrollen i egen hånd, er det dig som webmaster, der styrer.

    Om content er king eller ej: Søgemaskinerne er nødt til at økonomisere med deres robotters tid. Og denne måde er effektiv for dem – og så er det jo faktisk sandt, at 48 forskellige måder at liste de samme fem bluser op på næppe er “godt content”. Så svaret er, at Google og de andre banditter er nødt til at være kvantitativt kræsne også.

    Off topic: Ringer du til mig?

  3. Interessant problem du hiver frem her.. Det er der ikke mange der tænker på. Men ligger man og konkurrere om om nogle gode placeringer, så er det sådan noget der kan være forskel på knald eller fald.

    Content is king, and links are his little helpers 🙂 (Sagt af en jeg lige kan huske hvem er)

  4. Interessant emne. Ikke noget jeg har tænkt vildt meget over, da jeg først for nyligt er begyndt at tænke på uendelige links. Klart noget som jeg vil tænke mere over i fremtiden, og se om jeg kan finde noget mere materiale til.

Skriv en kommentar

Din e-mailadresse vil ikke blive publiceret. Krævede felter er markeret med *