Robots.txt

Hvad er Robots.txt?

Robots.txt er en fil på din server, som anviser crawlere om hvordan de skal bevæge sig rundt på din hjemmeside. For de fleste hjemmesider kan den findes på eksempel.dk/robots.txt. Her kan man blandt andet begrænse hvor hurtigt og ofte crawlere må lande på din hjemmeside, begrænse dem fra at ramme særlige sider eller dele af din hjemmeside samt anvise hvor dit XML sitemap ligger henne.

Hvordan ser en Robots.txt fil ud?

Ofte vil Robots.txt filer være meget simple, og der er sjældent lagt begrænsninger ind, især for mindre virksomheder og mere simple hjemmesider.

Et eksempel på en Robots.txt fil fra Bonzer.dk:

Nogle gange vil filen dog være større, og indholde de ovennævnte begrænsninger, som i det her eksempel fra elgiganten.dk:

Hvordan bygger man sin egen Robots.txt fil?

Selve Robots.txt filen kan skabes i en simpel text-editor, og kræver som sådan ikke udvikling. Det er blot et tekststykke, der uploades på siden, og derfra er den i sig selv gældende og aktiv. Hvis man ønsker en simpel Robots.txt fil, så kan man kopiere den fra Bonzer, og indsætte sine egne parametre:

# Host
Host: https://eksempel.dk

# Sitemaps
Sitemap: https://eksempel.dk/sitemap.xml