Crawler

En crawler er et automatiseret program, der systematisk besøger sider på nettet, henter deres indhold og følger links videre til nye sider. Søgemaskiner bruger crawlere til at opdage og opdatere det materiale, deres indeks bygger på. Googlebot er den mest kendte, men Bing, Apple og en voksende flok AI-tjenester har hver deres.

Sådan arbejder en crawler

En crawler starter med en liste af kendte URL'er og jeres sitemap, henter siderne, læser indholdet og noterer alle links undervejs. Nye links ryger i køen, og sådan arbejder programmet sig gennem nettet, side for side. Moderne crawlere som Googlebot renderer også JavaScript, så de ser siden nogenlunde, som en bruger gør.

I bestemmer selv, hvem der får adgang. I robots.txt kan I byde crawlere velkommen eller vise dem væk, enkeltvis og pr. sektion af sitet.

AI-crawlere ændrer regnestykket

Ved siden af søgemaskinernes klassiske bots crawler AI-tjenesterne nu i stort omfang, og de fleste bruger separate bots til separate formål. OpenAI henter træningsdata med GPTBot og kilder til ChatGPT's søgesvar med OAI-SearchBot, og Anthropic skelner på samme måde mellem ClaudeBot og Claude-SearchBot. Beslutningen om at åbne eller blokere er derfor blevet strategisk og kan træffes pr. bot: Lukker I træningsbotten ude, holder I indholdet ude af fremtidig modeltræning, mens en blokering af søgebotten kan fjerne jer fra de AI-svar, hvor en voksende del af jeres kommende kunder leder.

For synligheden i både klassisk search og AI-search gælder samme grundregel: En crawler, der ikke kan hente jeres sider, kan heller ikke vise dem frem. Adgang for de rigtige crawlere er fundamentet under al SEO.