Googlebot

Googlebot er navnet på Googles crawler: det program, der løbende besøger internettets sider, følger links og henter indhold hjem til Googles indeks. Alt, hvad der kan ranke i Google, har Googlebot besøgt først, og derfor er fri adgang for Googlebot en grundforudsætning i teknisk SEO.

Sådan arbejder Googlebot

I praksis crawler Googlebot med en mobil user agent, fordi Google indekserer mobilversionen af nettet først. Crawleren henter jeres HTML, følger interne links og sitemaps og vender tilbage med en frekvens, der afhænger af sitets størrelse, autoritet og opdateringstakt, det såkaldte crawl budget. Googlebot kan også rendere JavaScript, men rendering koster ressourcer, så indhold, der først opstår i browseren, kan være længere om at nå indekset end indhold, der ligger direkte i HTML'en. Adgangen styrer I selv med robots.txt.

Googlebot og AI-crawlerne

Googlebot deler i dag nettet med en voksende flok AI-crawlere som OpenAIs GPTBot og PerplexityBot, og med Google-Extended kan I styre, om Google må bruge jeres indhold til at træne sine AI-modeller. Forskellen ligger i konsekvensen: Blokerer I en AI-crawler, påvirker det kun den pågældende tjeneste, og jeres rankings i Google står urørte. Hvad blokeringen betyder, afhænger af botten: GPTBot indsamler træningsdata, mens OAI-SearchBot henter kilder til ChatGPT's søgesvar. Blokerer I Googlebot, ryger I ud af både søgeresultaterne og AI Overviews, som bygger på det samme indeks. Hele kæden fra crawl til indeks er foldet ud i vores guide til crawling og indeksering.