Crawling

Crawling er den proces, hvor en søgemaskines crawler automatisk henter sider på nettet og læser deres indhold. Det er første led i kæden fra crawling over indeksering til rankings: En side, Google aldrig har crawlet, dukker ikke op i søgeresultaterne, uanset hvor god den er.

Sådan foregår crawling

Google opdager jeres sider ad tre veje: gennem links fra sider, den allerede kender, gennem jeres sitemap og gennem URL'er, den har besøgt før og vender tilbage til. Crawleren henter siden, renderer den og registrerer indhold og links, som derefter kan indgå i indekset. Frekvensen tilpasser sig sitet. Nyhedssektioner med daglige ændringer får hyppige besøg, mens statiske sider kan gå uger mellem gensyn.

Processen kan påvirkes fra sitets side. En logisk intern linkstruktur leder crawlere hen til de sider, der betyder noget for forretningen. Et opdateret sitemap gør nye sider synlige med det samme. Robots.txt holder maskiner ude af sektioner, der ikke hører hjemme i search, og en hurtig, stabil server gør hvert besøg mere produktivt.

I dag crawler AI-tjenester også løbende sider. OpenAI bruger GPTBot til at indsamle træningsdata og andre bots til at slå friske kilder op i ChatGPT. Perplexitys crawler bruges ifølge Perplexity til at finde og linke til kilder i søgeresultaterne, ikke til at træne modeller. Et website, der er let at crawle, er derfor synligt to steder på én gang: i de klassiske søgeresultater og i AI-svarene ovenpå.

Fundamentet er det samme i begge verdener, og det er her, alt SEO-arbejde begynder. Hvordan man sikrer, at maskinerne både finder og forstår siderne, dækker guiden om crawling og indeksering.