robots.txt je soubor, kterým web sděluje crawlerům, včetně těch, které provozují AI společnosti, do kterých částí webu smějí. llms.txt je navrhovaná konvence: soubor ve formátu Markdown v kořenovém adresáři webu, který web shrnuje pro jazykové modely. Ani jeden nezaručuje, že se značka objeví v odpovědích AI: robots.txt je žádost, kterou dodržují slušně se chovající crawlery, a llms.txt není oficiální standard a jeho podpora se u jednotlivých poskytovatelů liší.
Hlavní body
- robots.txt určuje, které crawlery jsou zvány dovnitř. Omylem zablokované AI crawlery mohou zabránit tomu, aby byl váš obsah použit v odpovědích.
- Některé crawlery sbírají data pro trénink modelů; jiné načítají stránky, aby odpověděly na otázku uživatele. O každém druhu rozhodujte zvlášť.
- llms.txt je návrh: levný, volitelný a nic nezaručuje.
- Chování crawlerů se v čase mění, proto sledujte oficiální dokumentaci každého poskytovatele.
Co má robots.txt společného s AI?
robots.txt je umístěn v kořenovém adresáři webu a obsahuje pravidla podle názvu crawleru (user agent): které crawlery mohou vstoupit a kterým sekcím se mají vyhnout. AI společnosti zveřejňují názvy, které používají, aby pro ně majitelé webů mohli nastavit konkrétní pravidla. Několik, na které pravděpodobně narazíte:
- GPTBot
- OAI-SearchBot
- ChatGPT-User
- ClaudeBot
- PerplexityBot
- Google-Extended
Syntaxe je stejná jako u jakéhokoli jiného pravidla v robots.txt:
User-agent: <název crawleru>
Disallow: /slozka-kterou-maji-crawlery-vynechat/
Každý poskytovatel popisuje, k čemu jednotlivé názvy slouží, ve své vlastní dokumentaci. Seznam i chování se mohou měnit, proto se místo původní dokumentace nespoléhejte na žádný článek, včetně tohoto.
Jak se liší trénovací crawlery od crawlerů pro odpovědi?
Zjednodušeně existují dva hlavní účely:
- Sběr dat pro trénink modelů. Obsah se stává studijním materiálem pro budoucí verze modelu.
- Načítání stránek pro odpověď na otázku. Když se uživatel na něco zeptá, systém vyhledá a přečte relevantní stránky, aby sestavil odpověď, často s uvedením zdrojů.
Toto rozlišení je důležité při rozhodování. Plošné pravidlo proti všem AI crawlerům může nechtěně vyřadit web z odpovědí založených na vyhledávání, přestože firma ve skutečnosti chtěla jen omezit využití svého obsahu pro trénink. Které druhy povolit a které blokovat, je obchodní rozhodnutí každé organizace; vyhnout se je třeba blokování, aniž víte, co blokujete.
Co robots.txt dokáže a co ne?
- Je to žádost, ne vynucovací mechanismus. Slušně se chovající crawlery ji dodržují; soubor přístupu technicky nebrání. Obsah, který je třeba chránit, by měl být za přihlášením nebo řízením přístupu.
- Povoleno neznamená použito. Otevřít crawlerům dveře je jen předpoklad. Zda bude obsah vybrán, stále závisí na jeho kvalitě a relevanci. Viz jak AI vybírá zdroje.
- Není to jediná bariéra. Firewall, služba ochrany proti botům nebo konfigurace serveru mohou AI crawlery zablokovat, i když je robots.txt povoluje.
Co je llms.txt?
llms.txt je navrhovaná konvence: umístit do kořenového adresáře webu soubor ve formátu Markdown, který web shrnuje pro jazykové modely. Obvykle obsahuje název webu, krátký úvod a seznam odkazů na nejdůležitější stránky, každý se stručným popisem. Myšlenkou je předat modelu kompaktní, čitelnou mapu, místo aby se musel celou strukturou webu probírat sám.
Co llms.txt není?
- Není to oficiální standard. Zatím jde o návrh.
- Nepodporují ho všichni poskytovatelé AI. Míra přijetí se liší a nelze předpokládat, že konkrétní AI asistent soubor přečte.
- Není to záruka. Mít llms.txt neznamená být častěji citován nebo zmiňován.
- Nenahrazuje robots.txt. llms.txt neřídí přístup crawlerů.
- Nenahrazuje kvalitní obsah. Úhledné shrnutí nevyváží stránky, kterým chybí konkrétní informace.
Vyplatí se llms.txt vytvořit?
Můžete, pokud to berete jako malý, volitelný úkol. Náklady jsou nízké: jeden textový soubor, který aktualizujete při změně struktury webu. Pokud se do toho pustíte, udržujte soubor krátký a přesný, odkazujte jen na kanonické stránky a dbejte, aby odpovídal tomu, co na webu skutečně je. Nečekejte, že samotný tento soubor přinese měřitelnou změnu, a nedávejte mu přednost před zásadnější prací.
Co zkontrolovat nejdřív?
- Otevřete robots.txt a hledejte pravidla, která AI crawlery blokují nechtěně.
- Na základě dokumentace poskytovatelů stanovte pravidla pro každý druh crawleru.
- Zkontrolujte nastavení firewallu a ochrany proti botům.
- Ověřte, že hlavní obsah lze přečíst jako text bez přihlášení.
- Až budou předchozí kroky hotové, zvažte llms.txt.
- Pravidelně vše znovu kontrolujte.
Dostupnost je jen první vrstva. Aby AI značce správně rozuměla a měla důvod ji citovat, potřebuje značka také základy entit, citovatelný obsah a přítomnost v mnoha zdrojích. Můžete si přečíst o rámci G.E.O nebo o službě GEONGON Entity a schema.