Insikter

llms.txt och AI-crawlers: vad de är och vad de inte är

robots.txt för AI-crawlers och förslaget llms.txt: vad de är, vad de kan göra och vad de inte kan göra för ett varumärkes närvaro i AI.

robots.txt är filen som en webbplats använder för att tala om för crawlers (sökrobotar), även de som drivs av AI-företag, vilka delar av webbplatsen de får besöka. llms.txt är en föreslagen konvention: en Markdown-fil i webbplatsens rot som sammanfattar webbplatsen för språkmodeller. Ingen av dem garanterar att ett varumärke syns i AI-svar: robots.txt är en begäran som seriösa crawlers följer, och llms.txt är ingen officiell standard, med ett stöd som varierar från leverantör till leverantör.

Det viktigaste i korthet

  • robots.txt anger vilka crawlers som är välkomna. Om du blockerar AI-crawlers av misstag kan ditt innehåll hindras från att användas i svar.
  • Vissa crawlers samlar in data för att träna modeller; andra hämtar sidor för att besvara en användares fråga. Ta ställning till varje typ för sig.
  • llms.txt är ett förslag: billigt, valfritt och ingen garanti för någonting.
  • Crawlers beteende förändras över tid, så kontrollera varje leverantörs officiella dokumentation.

Vad har robots.txt med AI att göra?

robots.txt ligger i webbplatsens rot och innehåller regler per crawlernamn (user agent): vilka crawlers som får komma in och vilka delar de ska hålla sig borta från. AI-företag publicerar de namn de använder så att webbplatsägare kan sätta specifika regler för dem. Några du sannolikt kommer att stöta på:

  • GPTBot
  • OAI-SearchBot
  • ChatGPT-User
  • ClaudeBot
  • PerplexityBot
  • Google-Extended

Syntaxen är densamma som för alla andra regler i robots.txt:

User-agent: <crawlerns namn>
Disallow: /en-mapp-du-vill-utesluta/

Varje leverantör beskriver vad varje namn används till i sin egen dokumentation. Listan och beteendet kan ändras, så förlita dig inte på någon artikel, inte heller den här, i stället för originaldokumentationen.

Hur skiljer sig träningscrawlers från svarscrawlers?

I stora drag finns det två huvudsyften:

  • Samla in data för att träna modeller. Innehållet blir läromaterial för senare versioner av en modell.
  • Hämta sidor för att besvara en fråga. När en användare frågar något hittar och läser systemet relevanta sidor för att sätta ihop sitt svar, ofta med källor bifogade.

Skillnaden spelar roll när du fattar beslut. En generell regel mot alla AI-crawlers kan oavsiktligt ta bort en webbplats från hämtningsbaserade svar, när allt företaget egentligen ville var att begränsa användningen av sitt innehåll för träning. Vilka typer som ska tillåtas eller blockeras är varje organisations eget affärsbeslut; det som ska undvikas är att blockera utan att veta vad man blockerar.

Vad kan robots.txt göra, och vad kan den inte göra?

  • Det är en begäran, inte en spärr. Seriösa crawlers följer den; filen hindrar inte åtkomst rent tekniskt. Innehåll som behöver skyddas bör ligga bakom inloggning eller behörighetskontroll.
  • Tillåtet betyder inte använt. Att öppna dörren för crawlers är bara en förutsättning. Om innehållet väljs beror fortfarande på dess kvalitet och relevans. Se hur AI väljer sina källor.
  • Det är inte det enda hindret. En brandvägg, en tjänst för botskydd eller serverkonfigurationen kan också blockera AI-crawlers även när robots.txt tillåter dem.

Vad är llms.txt?

llms.txt är en föreslagen konvention: lägg en Markdown-fil i webbplatsens rot som sammanfattar webbplatsen för språkmodeller. Den innehåller oftast webbplatsens namn, en kort introduktion och en lista med länkar till de viktigaste sidorna, var och en med en kort beskrivning. Tanken är att ge en modell en kompakt, läsbar karta i stället för att låta den arbeta sig igenom hela webbplatsstrukturen på egen hand.

Vad är llms.txt inte?

  • Ingen officiell standard. Än så länge är det ett förslag.
  • Inte något som alla AI-leverantörer stöder. Användningen varierar, och du bör inte utgå från att en viss AI-assistent läser filen.
  • Ingen garanti. Att ha en llms.txt betyder inte att du blir citerad eller nämnd oftare.
  • Ingen ersättning för robots.txt. llms.txt styr inte crawlers åtkomst.
  • Ingen ersättning för bra innehåll. En prydlig sammanfattning kan inte väga upp sidor som saknar specifik information.

Bör du skapa en llms.txt?

Det kan du, så länge du ser det som en liten, valfri uppgift. Kostnaden är låg: en textfil som uppdateras när webbplatsstrukturen ändras. Om du gör det, håll filen kort och korrekt, länka bara till kanoniska sidor och se till att den stämmer med det som faktiskt finns på webbplatsen. Förvänta dig inte att den här filen ensam ger en mätbar förändring, och prioritera den inte före mer grundläggande arbete.

Vad ska du kontrollera först?

  1. Öppna robots.txt och leta efter regler som oavsiktligt blockerar AI-crawlers.
  2. Bestäm en policy för varje typ av crawler utifrån leverantörernas dokumentation.
  3. Kontrollera inställningarna för brandvägg och botskydd.
  4. Se till att huvudinnehållet går att läsa som text utan inloggning.
  5. Överväg llms.txt när stegen ovan är klara.
  6. Gå igenom detta regelbundet.

Tillgänglighet är bara det första lagret. För att AI ska förstå ett varumärke korrekt och ha skäl att citera det behöver varumärket också en entitetsgrund, innehåll som går att citera och närvaro i många källor. Du kan läsa om ramverket G.E.O eller om GEONGONs tjänst Entitet & schema.

Relaterade artiklar

Var står ditt varumärke i AI-svaren i dag?

Börja med ett samtal och en första bild av hur synligt ditt varumärke är på AI-plattformarna.

Beställ en AI-synlighetsanalys