robots.txt on fail, millega veebisait annab roomajatele (crawlers), sealhulgas AI-ettevõtete omadele, teada, millistele saidi osadele neil on lubatud ligi pääseda. llms.txt on väljapakutud kokkulepe: saidi juurkataloogis asuv Markdown-fail, mis võtab saidi keelemudelite jaoks kokku. Kumbki ei garanteeri, et bränd ilmub AI vastustes: robots.txt on palve, mida korrektsed roomajad järgivad, ja llms.txt ei ole ametlik standard ning selle tugi erineb teenusepakkujati.
Peamised järeldused
- robots.txt ütleb, millised roomajad on oodatud. AI-roomajate kogemata blokeerimine võib takistada teie sisu kasutamist vastustes.
- Mõned roomajad koguvad andmeid mudelite treenimiseks; teised toovad lehti kasutaja küsimusele vastamiseks. Otsustage iga liigi üle eraldi.
- llms.txt on ettepanek: odav, vabatahtlik ega garanteeri midagi.
- Roomajate käitumine muutub aja jooksul, seega kontrollige iga teenusepakkuja ametlikku dokumentatsiooni.
Mis on robots.txt-l pistmist AI-ga?
robots.txt asub veebisaidi juurkataloogis ja sisaldab reegleid roomaja nime (user agent) järgi: millised roomajad võivad siseneda ja millistest jaotistest nad peaksid eemale hoidma. AI-ettevõtted avaldavad kasutatavad nimed, et saidiomanikud saaksid neile eraldi reegleid seada. Mõned, millega tõenäoliselt kokku puutute:
- GPTBot
- OAI-SearchBot
- ChatGPT-User
- ClaudeBot
- PerplexityBot
- Google-Extended
Süntaks on sama mis mis tahes muu robots.txt reegli puhul:
User-agent: <roomaja nimi>
Disallow: /kaust-mida-roomajad-ei-peaks-lugema/
Iga teenusepakkuja kirjeldab oma dokumentatsioonis, milleks iga nimi on mõeldud. Nimekiri ja käitumine võivad muutuda, seega ärge toetuge algse dokumentatsiooni asemel ühelegi artiklile, sealhulgas sellele.
Mille poolest erinevad treeningroomajad vastuseroomajatest?
Laias laastus on kaks peamist eesmärki:
- Andmete kogumine mudelite treenimiseks. Sisu muutub mudeli hilisemate versioonide õppematerjaliks.
- Lehtede toomine küsimusele vastamiseks. Kui kasutaja midagi küsib, leiab ja loeb süsteem asjakohased lehed, et koostada vastus, sageli koos allikatega.
See eristus on otsuste tegemisel oluline. Üldine reegel kõigi AI-roomajate vastu võib veebisaidi tahtmatult eemaldada otsingupõhistest vastustest, kuigi ettevõte soovis tegelikult vaid piirata oma sisu kasutamist treenimiseks. Milliseid liike lubada või blokeerida, on iga organisatsiooni enda äriotsus; vältida tuleb blokeerimist teadmata, mida te blokeerite.
Mida robots.txt suudab ja mida mitte?
- See on palve, mitte jõustamismehhanism. Korrektsed roomajad järgivad seda; fail ei takista tehniliselt ligipääsu. Kaitset vajav sisu peaks olema sisselogimise või juurdepääsukontrolli taga.
- Lubatud ei tähenda kasutatud. Ukse avamine roomajatele on vaid eeltingimus. See, kas sisu valitakse, sõltub endiselt selle kvaliteedist ja asjakohasusest. Vaadake, kuidas AI oma allikaid valib.
- See ei ole ainus takistus. Tulemüür, robotikaitseteenus või serveri seadistus võivad AI-roomajad samuti blokeerida, isegi kui robots.txt neid lubab.
Mis on llms.txt?
llms.txt on väljapakutud kokkulepe: paigutada veebisaidi juurkataloogi Markdown-fail, mis võtab saidi keelemudelite jaoks kokku. Tavaliselt sisaldab see saidi nime, lühikest tutvustust ja kõige olulisemate lehtede linkide loetelu, igaühel lühike kirjeldus. Mõte on anda mudelile kompaktne ja loetav kaart, selle asemel et jätta ta kogu saidi struktuuris ise orienteeruma.
Mis llms.txt ei ole?
- Ei ole ametlik standard. Praegu on see ettepanek.
- Kõik AI-teenusepakkujad seda ei toeta. Kasutuselevõtt on erinev ja te ei tohiks eeldada, et mõni konkreetne AI-assistent faili loeb.
- Ei ole garantii. llms.txt olemasolu ei tähenda sagedasemat viitamist ega mainimist.
- Ei asenda robots.txt-d. llms.txt ei kontrolli roomajate juurdepääsu.
- Ei asenda head sisu. Korralik kokkuvõte ei korva lehti, millel puudub konkreetne teave.
Kas peaksite looma llms.txt faili?
Võite, kui käsitlete seda väikese ja vabatahtliku ülesandena. Kulu on väike: üks tekstifail, mida uuendatakse, kui saidi struktuur muutub. Kui seda teete, hoidke fail lühike ja täpne, linkige ainult kanoonilistele lehtedele ja veenduge, et see oleks kooskõlas sellega, mis veebisaidil tegelikult on. Ärge oodake, et see fail üksi annaks mõõdetava muutuse, ja ärge seadke seda põhimõttelisemast tööst ettepoole.
Mida kõigepealt kontrollida?
- Avage robots.txt ja otsige reegleid, mis blokeerivad AI-roomajaid tahtmatult.
- Otsustage teenusepakkujate dokumentatsiooni põhjal poliitika iga roomajaliigi suhtes.
- Kontrollige tulemüüri ja robotikaitse seadeid.
- Veenduge, et põhisisu on tekstina loetav ilma sisselogimiseta.
- Kaaluge llms.txt faili, kui ülaltoodud sammud on tehtud.
- Vaadake seadistus perioodiliselt üle.
Ligipääsetavus on vaid esimene kiht. Et AI mõistaks brändi õigesti ja tal oleks põhjust sellele viidata, vajab bränd ka olemite alust, viidatavat sisu ja kohalolekut paljudes allikates. Lugege lähemalt G.E.O raamistikust või GEONGONi teenusest Olemid & Schema.