Innsikt

llms.txt og AI-crawlere: hva de er, og hva de ikke er

robots.txt for AI-crawlere og forslaget llms.txt: hva de er, hva de kan gjøre, og hva de ikke kan gjøre for en merkevares synlighet i AI.

robots.txt er filen et nettsted bruker for å fortelle crawlere (søkeroboter), også de som drives av AI-selskaper, hvilke deler av nettstedet de har tilgang til. llms.txt er en foreslått konvensjon: en Markdown-fil i roten av nettstedet som oppsummerer nettstedet for språkmodeller. Ingen av dem garanterer at en merkevare vises i AI-svar: robots.txt er en forespørsel som seriøse crawlere følger, og llms.txt er ingen offisiell standard, med støtte som varierer fra leverandør til leverandør.

Det viktigste i korte trekk

  • robots.txt sier hvilke crawlere som er velkomne. Hvis du blokkerer AI-crawlere ved en feil, kan innholdet ditt bli holdt utenfor svarene.
  • Noen crawlere samler inn data for å trene modeller; andre henter sider for å svare på en brukers spørsmål. Ta stilling til hver type for seg.
  • llms.txt er et forslag: rimelig, valgfritt og ingen garanti for noe som helst.
  • Crawleres oppførsel endrer seg over tid, så sjekk den offisielle dokumentasjonen fra hver leverandør.

Hva har robots.txt med AI å gjøre?

robots.txt ligger i roten av et nettsted og inneholder regler per crawlernavn (user agent): hvilke crawlere som får komme inn, og hvilke deler de skal holde seg unna. AI-selskaper publiserer navnene de bruker, slik at nettstedseiere kan sette egne regler for dem. Noen du sannsynligvis vil støte på:

  • GPTBot
  • OAI-SearchBot
  • ChatGPT-User
  • ClaudeBot
  • PerplexityBot
  • Google-Extended

Syntaksen er den samme som for alle andre regler i robots.txt:

User-agent: <navnet på crawleren>
Disallow: /en-mappe-du-vil-utelukke/

Hver leverandør beskriver hva hvert navn brukes til, i sin egen dokumentasjon. Listen og oppførselen kan endre seg, så ikke stol på noen artikkel, heller ikke denne, i stedet for den opprinnelige dokumentasjonen.

Hvordan skiller treningscrawlere seg fra svarcrawlere?

Grovt sett finnes det to hovedformål:

  • Samle inn data for å trene modeller. Innholdet blir læringsmateriale for senere versjoner av en modell.
  • Hente sider for å svare på et spørsmål. Når en bruker spør om noe, finner og leser systemet relevante sider for å sette sammen svaret sitt, ofte med kilder vedlagt.

Skillet har betydning når du tar beslutninger. En generell regel mot alle AI-crawlere kan utilsiktet fjerne et nettsted fra henteorienterte svar, når alt virksomheten egentlig ønsket, var å begrense bruken av innholdet sitt til trening. Hvilke typer som skal tillates eller blokkeres, er hver organisasjons egen forretningsbeslutning; det man bør unngå, er å blokkere uten å vite hva man blokkerer.

Hva kan robots.txt gjøre, og hva kan den ikke gjøre?

  • Det er en forespørsel, ikke en sperre. Seriøse crawlere følger den; filen hindrer ikke tilgang rent teknisk. Innhold som må beskyttes, bør ligge bak innlogging eller tilgangskontroll.
  • Tillatt betyr ikke brukt. Å åpne døren for crawlere er bare en forutsetning. Om innholdet blir valgt, avhenger fortsatt av kvaliteten og relevansen. Se hvordan AI velger kildene sine.
  • Det er ikke den eneste barrieren. En brannmur, en tjeneste for botbeskyttelse eller serverkonfigurasjonen kan også blokkere AI-crawlere selv når robots.txt tillater dem.

Hva er llms.txt?

llms.txt er en foreslått konvensjon: legg en Markdown-fil i roten av et nettsted som oppsummerer nettstedet for språkmodeller. Den inneholder som regel nettstedets navn, en kort introduksjon og en liste med lenker til de viktigste sidene, hver med en kort beskrivelse. Tanken er å gi en modell et kompakt, lesbart kart i stedet for å la den arbeide seg gjennom hele nettstedsstrukturen på egen hånd.

Hva er llms.txt ikke?

  • Ikke en offisiell standard. Foreløpig er det et forslag.
  • Ikke støttet av alle AI-leverantører. Utbredelsen varierer, og du bør ikke gå ut fra at en bestemt AI-assistent leser filen.
  • Ikke en garanti. Å ha en llms.txt betyr ikke at du blir sitert eller nevnt oftere.
  • Ikke en erstatning for robots.txt. llms.txt styrer ikke crawleres tilgang.
  • Ikke en erstatning for godt innhold. En ryddig oppsummering kan ikke veie opp for sider som mangler konkret informasjon.

Bør du lage en llms.txt?

Det kan du, så lenge du ser på det som en liten, valgfri oppgave. Kostnaden er lav: én tekstfil som oppdateres når nettstedsstrukturen endres. Hvis du gjør det, hold filen kort og korrekt, lenk bare til kanoniske sider, og sørg for at den stemmer med det som faktisk finnes på nettstedet. Ikke forvent at denne filen alene gir en målbar endring, og ikke prioriter den foran mer grunnleggende arbeid.

Hva bør du sjekke først?

  1. Åpne robots.txt og se etter regler som utilsiktet blokkerer AI-crawlere.
  2. Bestem en policy for hver type crawler ut fra leverandørenes dokumentasjon.
  3. Sjekk innstillingene for brannmur og botbeskyttelse.
  4. Sørg for at hovedinnholdet kan leses som tekst uten innlogging.
  5. Vurder llms.txt når stegene over er gjort.
  6. Gå gjennom dette jevnlig.

Tilgjengelighet er bare det første laget. For at AI skal forstå en merkevare riktig og ha grunn til å sitere den, trenger merkevaren også et entitetsgrunnlag, innhold som kan siteres, og tilstedeværelse i mange kilder. Du kan lese om rammeverket G.E.O eller om GEONGONs tjeneste Entitet & schema.

Relaterte artikler

Hvor står merkevaren din i AI-svarene i dag?

Start med en samtale og et første blikk på hvor synlig merkevaren din er på AI-plattformene.

Bestill en AI-synlighetsanalyse