llms.txt

llms.txt er et forslag til en tekstfil i roden af et website, typisk på eksempel.dk/llms.txt, der giver sprogmodeller et kort, redigeret overblik over sitets vigtigste indhold. Formatet blev foreslået af Jeremy Howard i september 2024 og er beskrevet på llmstxt.org. Filen er skrevet i markdown og starter med sitets navn som overskrift og et kort resumé, efterfulgt af sektioner med links til de sider, man vil fremhæve, gerne med en linje om hver. Forslaget anbefaler også, at sitet tilbyder rene markdown-versioner af de enkelte sider.

Forskellen på llms.txt og robots.txt

Navnet leder tanken hen på robots.txt, men de to filer har vidt forskellige funktioner. Robots.txt er en etableret standard, der fortæller crawlere, hvilke dele af sitet de må besøge, og de store søgemaskiner og AI-tjenester respekterer den. llms.txt giver ingen adgang og spærrer ikke for noget. Den er en indholdsfortegnelse, som en sprogmodel kan bruge, hvis den vel at mærke henter filen.

Bruger AI-tjenesterne filen?

Google skriver i sin guide til generative AI-funktioner, at det ikke er nødvendigt at lave maskinlæsbare filer eller AI-tekstfiler for at blive vist i Google Search, og at de hverken hjælper eller skader synligheden. Vi kender heller ikke til, at de andre store AI-søgetjenester har dokumenteret, at de bruger llms.txt, når de vælger kilder til et svar. Filen bliver mest brugt til udviklerdokumentation, hvor kodeassistenter og AI-agenter skal finde de rigtige sider hurtigt, og en række softwarevirksomheder publicerer den til netop det formål.

Vi har selv en llms.txt på bonzer.dk, men den ændrer ikke ved, hvad der afgør synligheden i AI-svar. Det gør stadig de sider, AI-tjenesterne finder gennem søgning: at de kan crawles og indekseres, og at indholdet er det bedste svar på spørgsmålet. Det tekniske fundament gennemgår guiden om crawling og indeksering.