Članki

llms.txt in pajki AI: kaj so in kaj niso

robots.txt za pajke AI in predlog llms.txt: kaj sta, kaj zmoreta in česa ne zmoreta za prisotnost vaše znamke v odgovorih AI.

robots.txt je datoteka, s katero spletna stran pajkom (crawlerjem), tudi tistim, ki jih upravljajo podjetja AI, sporoča, do katerih delov strani smejo dostopati. llms.txt je predlagani dogovor: datoteka v Markdownu v korenskem imeniku spletne strani, ki stran povzame za jezikovne modele. Nobena ne zagotavlja, da se bo znamka pojavila v odgovorih AI: robots.txt je prošnja, ki jo upoštevajo pajki z dobrim vedenjem, llms.txt pa ni uradni standard, njegova podpora pa se med ponudniki razlikuje.

Ključne ugotovitve

  • robots.txt pove, kateri pajki so dobrodošli. Pomotoma blokirani pajki AI lahko preprečijo, da bi bila vaša vsebina uporabljena v odgovorih.
  • Nekateri pajki zbirajo podatke za treniranje modelov, drugi pridobivajo strani, da odgovorijo na vprašanje uporabnika. O vsaki vrsti se odločite posebej.
  • llms.txt je predlog: nizki stroški, neobvezen in ne zagotavlja ničesar.
  • Vedenje pajkov se s časom spreminja, zato preverjajte uradno dokumentacijo posameznega ponudnika.

Kaj ima robots.txt opraviti z AI?

robots.txt je v korenskem imeniku spletne strani in vsebuje pravila po imenu pajka (user agent): kateri pajki smejo vstopiti in katerim razdelkom naj se izognejo. Podjetja AI objavljajo imena, ki jih uporabljajo, da lahko lastniki spletnih strani zanje nastavijo posebna pravila. Nekatera, na katera boste verjetno naleteli:

  • GPTBot
  • OAI-SearchBot
  • ChatGPT-User
  • ClaudeBot
  • PerplexityBot
  • Google-Extended

Sintaksa je enaka kot pri katerem koli drugem pravilu v robots.txt:

User-agent: <ime pajka>
Disallow: /mapa-ki-naj-jo-pajki-preskocijo/

Vsak ponudnik v svoji dokumentaciji opisuje, čemu služi posamezno ime. Seznam in vedenje se lahko spremenita, zato se namesto na izvirno dokumentacijo ne zanašajte na noben članek, tudi na tega ne.

V čem se pajki za treniranje razlikujejo od pajkov za odgovore?

Na splošno obstajata dva glavna namena:

  • Zbiranje podatkov za treniranje modelov. Vsebina postane učno gradivo za poznejše različice modela.
  • Pridobivanje strani za odgovor na vprašanje. Ko uporabnik nekaj vpraša, sistem poišče in prebere ustrezne strani, da sestavi odgovor, pogosto z navedbo virov.

To razlikovanje je pomembno pri odločanju. Splošno pravilo proti vsem pajkom AI lahko nehote izloči spletno stran iz odgovorov, ki temeljijo na iskanju, čeprav je podjetje v resnici želelo le omejiti uporabo svoje vsebine za treniranje. Katere vrste dovoliti ali blokirati, je poslovna odločitev vsake organizacije; izogniti se je treba temu, da blokirate, ne da bi vedeli, kaj blokirate.

Kaj robots.txt zmore in česa ne?

  • Je prošnja, ne mehanizem za uveljavljanje. Pajki z dobrim vedenjem jo upoštevajo; datoteka dostopa tehnično ne prepreči. Vsebina, ki jo je treba zaščititi, naj bo za prijavo ali nadzorom dostopa.
  • Dovoljeno ne pomeni uporabljeno. Odprta vrata za pajke so le predpogoj. Ali bo vsebina izbrana, je še vedno odvisno od njene kakovosti in ustreznosti. Preberite članek kako AI izbira svoje vire.
  • Ni edina ovira. Pajke AI lahko blokirajo tudi požarni zid, storitev za zaščito pred boti ali nastavitve strežnika, tudi če jih robots.txt dovoljuje.

Kaj je llms.txt?

llms.txt je predlagani dogovor: v korenski imenik spletne strani postavite datoteko v Markdownu, ki stran povzame za jezikovne modele. Običajno vsebuje ime strani, kratek uvod in seznam povezav do najpomembnejših strani, vsako s kratkim opisom. Zamisel je, da modelu ponudimo strnjen, berljiv zemljevid, namesto da bi se moral sam prebijati skozi celotno strukturo strani.

Kaj llms.txt ni?

  • Ni uradni standard. Zaenkrat je predlog.
  • Ne podpirajo ga vsi ponudniki AI. Sprejetost se razlikuje in ne bi smeli predpostavljati, da ga bo prebral kateri koli določen AI asistent.
  • Ni jamstvo. Imeti llms.txt ne pomeni, da boste pogosteje citirani ali omenjeni.
  • Ne nadomešča robots.txt. llms.txt ne nadzoruje dostopa pajkov.
  • Ne nadomešča dobre vsebine. Urejen povzetek ne more nadomestiti strani, ki jim manjkajo konkretne informacije.

Ali naj ustvarite llms.txt?

Lahko, če ga obravnavate kot majhno, neobvezno nalogo. Stroški so nizki: ena besedilna datoteka, ki jo posodobite, ko se spremeni struktura strani. Če se tega lotite, naj bo datoteka kratka in točna, povezuje naj le na kanonične strani in naj ostane skladna s tem, kar je dejansko na spletni strani. Ne pričakujte, da bo ta datoteka sama prinesla merljivo spremembo, in ji ne dajajte prednosti pred bolj temeljnim delom.

Kaj preveriti najprej?

  1. Odprite robots.txt in poiščite pravila, ki nehote blokirajo pajke AI.
  2. Na podlagi dokumentacije ponudnikov določite pravila za vsako vrsto pajkov.
  3. Preverite nastavitve požarnega zidu in zaščite pred boti.
  4. Prepričajte se, da je glavna vsebina berljiva kot besedilo brez prijave.
  5. Ko so zgornji koraki opravljeni, razmislite o llms.txt.
  6. Redno preverjajte.

Dostopnost je le prva plast. Da AI znamko pravilno razume in ima razlog, da jo citira, potrebuje znamka tudi temelje entitet, citirljivo vsebino in prisotnost v številnih virih. Preberete lahko več o okviru G.E.O ali o storitvi GEONGON Entitete in shema.

Povezani članki

Kje je vaša znamka danes v odgovorih AI?

Začnite s pogovorom in prvim pregledom, kako vidna je vaša znamka na platformah AI.

Naročite analizo vidnosti v AI