Viden

llms.txt og AI-crawlere: hvad de er, og hvad de ikke er

robots.txt til AI-crawlere og forslaget llms.txt: hvad de er, hvad de kan, og hvad de ikke kan gøre for et brands tilstedeværelse i AI.

robots.txt er den fil, et website bruger til at fortælle crawlere, også dem, AI-virksomheder driver, hvilke dele af sitet de må tilgå. llms.txt er en foreslået konvention: en Markdown-fil i roden af sitet, der opsummerer sitet for sprogmodeller. Ingen af dem garanterer, at et brand kommer med i AI-svar: robots.txt er en anmodning, som velopdragne crawlere følger, og llms.txt er ikke en officiel standard, og understøttelsen varierer fra udbyder til udbyder.

De vigtigste pointer

  • robots.txt angiver, hvilke crawlere der er velkomne. Hvis du ved en fejl blokerer AI-crawlere, kan det forhindre, at dit indhold bliver brugt i svar.
  • Nogle crawlere indsamler data til at træne modeller; andre henter sider for at besvare en brugers spørgsmål. Tag stilling til hver type for sig.
  • llms.txt er et forslag: billigt, valgfrit og ingen garanti for noget.
  • Crawleres adfærd ændrer sig over tid, så tjek hver udbyders officielle dokumentation.

Hvad har robots.txt med AI at gøre?

robots.txt ligger i roden af et website og indeholder regler pr. crawlernavn (user agent): hvilke crawlere der må komme ind, og hvilke sektioner de skal holde sig fra. AI-virksomheder offentliggør de navne, de bruger, så websiteejere kan opsætte specifikke regler for dem. Nogle, du sandsynligvis vil støde på:

  • GPTBot
  • OAI-SearchBot
  • ChatGPT-User
  • ClaudeBot
  • PerplexityBot
  • Google-Extended

Syntaksen er den samme som for enhver anden regel i robots.txt:

User-agent: <crawlernavn>
Disallow: /en-mappe-crawlere-skal-springe-over/

Hver udbyder beskriver i sin egen dokumentation, hvad hvert navn bruges til. Listen og adfærden kan ændre sig, så stol ikke på nogen artikel, heller ikke denne, i stedet for den oprindelige dokumentation.

Hvordan adskiller trænings-crawlere sig fra svar-crawlere?

Overordnet er der to hovedformål:

  • Indsamling af data til at træne modeller. Indholdet bliver læringsmateriale for senere versioner af en model.
  • Hentning af sider for at besvare et spørgsmål. Når en bruger spørger om noget, finder og læser systemet relevante sider for at sammensætte sit svar, ofte med kilder vedhæftet.

Forskellen betyder noget, når du træffer beslutninger. En generel regel mod alle AI-crawlere kan utilsigtet fjerne et website fra svar, der bygger på hentede sider, selv om virksomheden i virkeligheden kun ville begrænse brugen af sit indhold til træning. Hvilke typer der skal tillades eller blokeres, er hver organisations egen forretningsbeslutning; det, der skal undgås, er at blokere uden at vide, hvad man blokerer.

Hvad kan robots.txt, og hvad kan den ikke?

  • Den er en anmodning, ikke en håndhævelsesmekanisme. Velopdragne crawlere følger den; filen forhindrer ikke teknisk adgang. Indhold, der skal beskyttes, bør ligge bag et login eller adgangskontrol.
  • Tilladt betyder ikke brugt. At åbne døren for crawlere er kun en forudsætning. Om indholdet bliver valgt, afhænger stadig af dets kvalitet og relevans. Se hvordan AI vælger sine kilder.
  • Den er ikke den eneste barriere. En firewall, en tjeneste til bot-beskyttelse eller serverkonfigurationen kan også blokere AI-crawlere, selv når robots.txt tillader dem.

Hvad er llms.txt?

llms.txt er en foreslået konvention: Placér en Markdown-fil i roden af et website, der opsummerer sitet for sprogmodeller. Den indeholder typisk sitets navn, en kort introduktion og en liste med links til de vigtigste sider, hver med en kort beskrivelse. Idéen er at give en model et kompakt, læsbart kort i stedet for at lade den selv arbejde sig igennem hele sitets struktur.

Hvad er llms.txt ikke?

  • Ikke en officiel standard. Indtil videre er det et forslag.
  • Ikke understøttet af alle AI-udbydere. Udbredelsen varierer, og du bør ikke gå ud fra, at en bestemt AI-assistent læser filen.
  • Ikke en garanti. At have en llms.txt betyder ikke, at du bliver citeret eller nævnt oftere.
  • Ikke en erstatning for robots.txt. llms.txt styrer ikke crawleres adgang.
  • Ikke en erstatning for godt indhold. En pæn opsummering kan ikke opveje sider, der mangler konkrete oplysninger.

Bør du oprette en llms.txt?

Det kan du godt, så længe du betragter det som en lille, valgfri opgave. Omkostningen er lav: én tekstfil, der opdateres, når sitets struktur ændrer sig. Hvis du gør det, så hold filen kort og korrekt, link kun til kanoniske sider, og sørg for, at den stemmer overens med det, der faktisk står på websitet. Forvent ikke, at denne fil alene giver en målbar forskel, og prioritér den ikke over mere grundlæggende arbejde.

Hvad bør du tjekke først?

  1. Åbn robots.txt, og kig efter regler, der utilsigtet blokerer AI-crawlere.
  2. Fastlæg en politik for hver type crawler ud fra udbydernes dokumentation.
  3. Tjek dine indstillinger for firewall og bot-beskyttelse.
  4. Sørg for, at hovedindholdet kan læses som tekst uden login.
  5. Overvej llms.txt, når trinene ovenfor er på plads.
  6. Gennemgå det hele med jævne mellemrum.

Tilgængelighed er kun det første lag. For at AI kan forstå et brand korrekt og have en grund til at citere det, skal brandet også have et entitetsfundament, indhold, der kan citeres, og tilstedeværelse på mange kilder. Du kan læse om G.E.O-frameworket eller GEONGONs ydelse Entitet & schema.

Relaterede artikler

Hvor står dit brand i AI-svarene i dag?

Start med en snak og et første blik på, hvor synligt dit brand er på tværs af AI-platforme.

Få en AI-synlighedsaudit