robots.txt je datoteka kojom web-stranica crawlerima, uključujući one koje pokreću AI tvrtke, govori kojim dijelovima stranice smiju pristupiti. llms.txt je predložena konvencija: Markdown datoteka u korijenu web-stranice koja sažima stranicu za jezične modele. Nijedna od njih ne jamči da će se brend pojaviti u AI odgovorima: robots.txt je zahtjev koji poštuju dobronamjerni crawleri, a llms.txt nije službeni standard i njegova se podrška razlikuje od pružatelja do pružatelja.
Ključno ukratko
- robots.txt određuje koji su crawleri dobrodošli. Slučajno blokiranje AI crawlera može spriječiti da se Vaš sadržaj koristi u odgovorima.
- Neki crawleri prikupljaju podatke za treniranje modela, a drugi dohvaćaju stranice kako bi odgovorili na pitanje korisnika. O svakoj vrsti odlučite zasebno.
- llms.txt je prijedlog: jeftin, neobvezan i bez ikakvog jamstva.
- Ponašanje crawlera s vremenom se mijenja, pa provjerite službenu dokumentaciju svakog pružatelja.
Kakve veze robots.txt ima s AI-jem?
robots.txt nalazi se u korijenu web-stranice i sadrži pravila prema nazivu crawlera (user agent): koji crawleri smiju ući i od kojih se dijelova trebaju kloniti. AI tvrtke objavljuju nazive koje koriste kako bi vlasnici web-stranica mogli za njih postaviti posebna pravila. Neki na koje ćete vjerojatno naići:
- GPTBot
- OAI-SearchBot
- ChatGPT-User
- ClaudeBot
- PerplexityBot
- Google-Extended
Sintaksa je ista kao za bilo koje drugo pravilo u robots.txt:
User-agent: <naziv crawlera>
Disallow: /mapa-koju-crawleri-trebaju-preskociti/
Svaki pružatelj u vlastitoj dokumentaciji opisuje čemu služi koji naziv. Popis i ponašanje mogu se mijenjati, pa se ne oslanjajte ni na jedan članak, uključujući ovaj, umjesto na izvornu dokumentaciju.
Po čemu se crawleri za treniranje razlikuju od crawlera za odgovore?
Općenito postoje dvije glavne svrhe:
- Prikupljanje podataka za treniranje modela. Sadržaj postaje materijal za učenje budućih verzija modela.
- Dohvaćanje stranica radi odgovora na pitanje. Kada korisnik nešto pita, sustav pronalazi i čita relevantne stranice kako bi sastavio odgovor, često s navedenim izvorima.
Ta je razlika važna kada donosite odluke. Opće pravilo protiv svih AI crawlera može nenamjerno ukloniti web-stranicu iz odgovora koji se temelje na pretraživanju, iako je tvrtka zapravo htjela samo ograničiti upotrebu svog sadržaja za treniranje. Koje vrste dopustiti, a koje blokirati, poslovna je odluka svake organizacije; ono što treba izbjeći jest blokiranje bez znanja o tome što se blokira.
Što robots.txt može, a što ne može?
- To je zahtjev, a ne mehanizam provedbe. Dobronamjerni crawleri ga poštuju; datoteka tehnički ne sprječava pristup. Sadržaj koji treba zaštititi mora biti iza prijave ili kontrole pristupa.
- Dopušteno ne znači i iskorišteno. Otvaranje vrata crawlerima samo je preduvjet. Hoće li sadržaj biti odabran i dalje ovisi o njegovoj kvaliteti i relevantnosti. Pogledajte kako AI odabire izvore.
- Nije jedina prepreka. Vatrozid, usluga zaštite od botova ili konfiguracija poslužitelja također mogu blokirati AI crawlere čak i kada ih robots.txt dopušta.
Što je llms.txt?
llms.txt je predložena konvencija: u korijen web-stranice postavlja se Markdown datoteka koja sažima stranicu za jezične modele. Obično sadrži naziv stranice, kratak uvod i popis poveznica na najvažnije stranice, svaku s kratkim opisom. Ideja je modelu dati sažetu, čitljivu kartu umjesto da sam prolazi kroz cijelu strukturu stranice.
Što llms.txt nije?
- Nije službeni standard. Zasad je to prijedlog.
- Ne podržavaju ga svi pružatelji AI usluga. Prihvaćenost se razlikuje i ne treba pretpostaviti da će bilo koji određeni AI asistent pročitati tu datoteku.
- Nije jamstvo. Postojanje datoteke llms.txt ne znači češće citiranje ili spominjanje.
- Ne zamjenjuje robots.txt. llms.txt ne upravlja pristupom crawlera.
- Ne zamjenjuje dobar sadržaj. Uredan sažetak ne može nadoknaditi stranice kojima nedostaju konkretne informacije.
Trebate li izraditi llms.txt?
Možete, sve dok to smatrate malim, neobveznim zadatkom. Trošak je nizak: jedna tekstualna datoteka koja se ažurira kada se promijeni struktura stranice. Ako je izradite, neka bude kratka i točna, neka upućuje samo na kanonske stranice i pobrinite se da ostane usklađena s onim što se doista nalazi na web-stranici. Ne očekujte da će sama ta datoteka donijeti mjerljivu promjenu i ne stavljajte je ispred temeljnijeg posla.
Što prvo provjeriti?
- Otvorite robots.txt i potražite pravila koja nenamjerno blokiraju AI crawlere.
- Odredite pravila za svaku vrstu crawlera na temelju dokumentacije pružatelja.
- Provjerite postavke vatrozida i zaštite od botova.
- Pobrinite se da je glavni sadržaj čitljiv kao tekst bez prijave.
- Razmislite o llms.txt nakon što obavite prethodne korake.
- Povremeno sve ponovno provjerite.
Dostupnost je tek prvi sloj. Da bi AI ispravno razumio brend i imao razlog da ga citira, brendu su potrebni i temelji entiteta, sadržaj vrijedan citiranja i prisutnost u brojnim izvorima. Možete pročitati više o okviru G.E.O ili o GEONGON-ovoj usluzi Entiteti i schema.