Crawl budget

Crawl budget er den mængde sider, en søgemaskine henter på et website inden for en given periode. Google fastlægger budgettet ud fra to faktorer: hvor meget jeres server kan levere uden at blive langsom (crawl capacity), og hvor stor interesse Google har i indholdet, målt på popularitet og opdateringsfrekvens (crawl demand). Budgettet står ikke noget sted som ét tal, men I kan følge aktiviteten i Google Search Consoles crawl-statistik.

Hvornår er crawl budget et reelt problem?

For de fleste websites med nogle hundrede eller få tusinde sider crawler Google rigeligt, og budgettet er ingen flaskehals. Udfordringen opstår på store sites: webshops med facetteret navigation, hvor filtre og parametre kan generere millioner af URL-varianter, eller mediesites med mange års arkiv. Bruger Google budgettet på endeløse filterkombinationer, redirect-kæder og duplikerede varianter, når de vigtige sider sjældnere gennem crawling, og nyt indhold venter længere på indeksering.

Serverens hastighed indgår direkte i regnestykket, fordi crawl capacity måles i, hvad serveren kan levere: Hurtigere svartider betyder flere hentede sider for samme kapacitet. Robots.txt, sitemappet og den interne linkstruktur er de håndtag, der styrer, hvor crawlerne lægger deres besøg.

AI-crawlere som GPTBot og PerplexityBot tæller ikke med i Googles crawl budget, men de trækker på den samme server og nyder godt af den samme rene URL-struktur. I SEO-sammenhæng er pointen den samme som altid: Sider, ingen crawler når frem til, får aldrig chancen for at ranke. Hvordan man arbejder med crawl-optimering i praksis, dækker guiden om crawling og indeksering.