Robots.txt

Robots.txt er en tekstfil i roden af jeres domæne, typisk på eksempel.dk/robots.txt, som fortæller crawlere, hvilke dele af sitet de må besøge. Filen er det første, en crawler slår op, inden den går i gang, og den fungerer som jeres færdselsregler for alt fra Googlebot til AI-tjenesternes bots. Den er en lille, men vigtig brik i jeres tekniske SEO.

Reglerne står i simple blokke pr. user-agent, altså pr. crawler:

User-agent: *
Disallow: /kurv/

User-agent: GPTBot
Disallow: /

Sitemap: https://eksempel.dk/sitemap.xml

Første blok gælder alle crawlere og lukker for indkøbskurven. Anden blok lukker en enkelt bot helt ude, her OpenAI's GPTBot. Sitemap-linjen viser crawlere vej til jeres XML-sitemap, så de hurtigere finder alle vigtige sider.

Den mest aktuelle brug af filen er styring af AI-crawlere: GPTBot fra OpenAI, ClaudeBot fra Anthropic, PerplexityBot og Google-Extended, som styrer brugen af jeres indhold i Googles AI-modeller. Valget er strategisk og kan træffes pr. bot: GPTBot og ClaudeBot henter data til modeltræning, mens søgebots som OAI-SearchBot og PerplexityBot finder de kilder, AI-svarene bygger på. Google-Extended påvirker ikke, om jeres sider vises i Google Search, heller ikke i AI Overviews. Blokerer I søgebottene, forsvinder sitet fra flader, hvor flere og flere leder efter leverandører.

To ting kan filen ikke. Den er ingen sikkerhedsforanstaltning, for den er offentligt tilgængelig, og kun velopdragne crawlere respekterer den. Og den fjerner ikke sider fra Googles indeks: En blokeret side kan stadig dukke op i resultaterne, hvis andre linker til den. Skal en side helt ud af indekset, er de-indeksering med noindex vejen. I kan læse mere om samspillet i vores guide til crawling og indeksering.