robots.txt je súbor, ktorým web oznamuje crawlerom vrátane tých, ktoré prevádzkujú AI firmy, ku ktorým častiam webu majú prístup. llms.txt je navrhovaná konvencia: súbor v Markdowne v koreňovom adresári webu, ktorý web zhrnie pre jazykové modely. Ani jeden nezaručuje, že sa značka objaví v odpovediach AI: robots.txt je žiadosť, ktorú dodržiavajú slušne sa správajúce crawlery, a llms.txt nie je oficiálny štandard a jeho podpora sa medzi poskytovateľmi líši.
Kľúčové zistenia
- robots.txt určuje, ktoré crawlery sú vítané. Omylom zablokované AI crawlery môžu zabrániť tomu, aby sa váš obsah použil v odpovediach.
- Niektoré crawlery zbierajú dáta na trénovanie modelov, iné načítavajú stránky, aby odpovedali na otázku používateľa. O každom druhu rozhodnite zvlášť.
- llms.txt je návrh: nízke náklady, dobrovoľný a nič nezaručuje.
- Správanie crawlerov sa v čase mení, preto si overujte oficiálnu dokumentáciu každého poskytovateľa.
Čo má robots.txt spoločné s AI?
robots.txt sa nachádza v koreňovom adresári webu a obsahuje pravidlá podľa názvu crawlera (user agent): ktoré crawlery môžu vstúpiť a ktorým sekciám sa majú vyhnúť. AI firmy zverejňujú názvy, ktoré používajú, aby pre ne prevádzkovatelia webov mohli nastaviť konkrétne pravidlá. Niektoré, na ktoré pravdepodobne narazíte:
- GPTBot
- OAI-SearchBot
- ChatGPT-User
- ClaudeBot
- PerplexityBot
- Google-Extended
Syntax je rovnaká ako pri akomkoľvek inom pravidle v robots.txt:
User-agent: <názov crawlera>
Disallow: /priecinok-ktory-maju-crawlery-vynechat/
Každý poskytovateľ vo vlastnej dokumentácii opisuje, na čo jednotlivé názvy slúžia. Zoznam aj správanie sa môžu meniť, preto sa namiesto pôvodnej dokumentácie nespoliehajte na žiadny článok, ani na tento.
Čím sa líšia trénovacie crawlery od crawlerov pre odpovede?
Vo všeobecnosti existujú dva hlavné účely:
- Zber dát na trénovanie modelov. Obsah sa stáva učebným materiálom pre ďalšie verzie modelu.
- Načítanie stránok na zodpovedanie otázky. Keď sa používateľ na niečo opýta, systém vyhľadá a prečíta relevantné stránky, aby zostavil odpoveď, často s uvedením zdrojov.
Toto rozlíšenie je pri rozhodovaní dôležité. Plošné pravidlo proti všetkým AI crawlerom môže nechtiac vyradiť web z odpovedí založených na vyhľadávaní, hoci firma v skutočnosti chcela len obmedziť použitie svojho obsahu na trénovanie. Ktoré druhy povoliť alebo zablokovať, je obchodné rozhodnutie každej organizácie; vyhnúť sa treba tomu, aby ste blokovali bez toho, aby ste vedeli, čo blokujete.
Čo robots.txt dokáže a čo nie?
- Je to žiadosť, nie mechanizmus vynútenia. Slušne sa správajúce crawlery ho dodržiavajú; súbor technicky nebráni prístupu. Obsah, ktorý treba chrániť, by mal byť za prihlásením alebo riadením prístupu.
- Povolené neznamená použité. Otvoriť crawlerom dvere je len predpoklad. To, či sa obsah vyberie, stále závisí od jeho kvality a relevantnosti. Pozrite si článok ako AI vyberá svoje zdroje.
- Nie je to jediná bariéra. AI crawlery môže zablokovať aj firewall, služba na ochranu pred botmi alebo konfigurácia servera, aj keď ich robots.txt povoľuje.
Čo je llms.txt?
llms.txt je navrhovaná konvencia: umiestniť do koreňového adresára webu súbor v Markdowne, ktorý web zhrnie pre jazykové modely. Zvyčajne obsahuje názov webu, krátky úvod a zoznam odkazov na najdôležitejšie stránky, každý so stručným popisom. Myšlienkou je dať modelu kompaktnú a čitateľnú mapu namiesto toho, aby sa musel sám prehrýzať celou štruktúrou webu.
Čím llms.txt nie je?
- Nie je oficiálnym štandardom. Zatiaľ ide o návrh.
- Nepodporujú ho všetci poskytovatelia AI. Miera prijatia sa líši a nemali by ste predpokladať, že ho prečíta konkrétny AI asistent.
- Nie je zárukou. Mať llms.txt neznamená byť citovaný alebo spomínaný častejšie.
- Nenahrádza robots.txt. llms.txt neriadi prístup crawlerov.
- Nenahrádza dobrý obsah. Úhľadné zhrnutie nevynahradí stránky, ktorým chýbajú konkrétne informácie.
Oplatí sa vytvoriť llms.txt?
Môžete, pokiaľ ho beriete ako malú, dobrovoľnú úlohu. Náklady sú nízke: jeden textový súbor, ktorý aktualizujete pri zmene štruktúry webu. Ak sa do toho pustíte, udržiavajte súbor krátky a presný, odkazujte len na kanonické stránky a dbajte na to, aby zodpovedal tomu, čo na webe naozaj je. Neočakávajte, že tento súbor sám osebe prinesie merateľnú zmenu, a nedávajte mu prednosť pred zásadnejšou prácou.
Čo skontrolovať ako prvé?
- Otvorte robots.txt a hľadajte pravidlá, ktoré nechtiac blokujú AI crawlery.
- Na základe dokumentácie poskytovateľov určte pravidlá pre každý druh crawlera.
- Skontrolujte nastavenia firewallu a ochrany pred botmi.
- Uistite sa, že hlavný obsah je čitateľný ako text bez prihlásenia.
- Po splnení predchádzajúcich krokov zvážte llms.txt.
- Pravidelne všetko prehodnocujte.
Prístupnosť je len prvá vrstva. Aby AI značku správne pochopila a mala dôvod ju citovať, značka potrebuje aj základ entít, citovateľný obsah a prítomnosť v mnohých zdrojoch. Môžete si prečítať o rámci G.E.O alebo o službe GEONGON Entity a schéma.