Články

llms.txt a AI crawlery: co jsou a co nejsou

robots.txt pro AI crawlery a návrh llms.txt: co jsou, co mohou a co naopak nemohou udělat pro přítomnost značky v odpovědích AI.

robots.txt je soubor, kterým web sděluje crawlerům, včetně těch, které provozují AI společnosti, do kterých částí webu smějí. llms.txt je navrhovaná konvence: soubor ve formátu Markdown v kořenovém adresáři webu, který web shrnuje pro jazykové modely. Ani jeden nezaručuje, že se značka objeví v odpovědích AI: robots.txt je žádost, kterou dodržují slušně se chovající crawlery, a llms.txt není oficiální standard a jeho podpora se u jednotlivých poskytovatelů liší.

Hlavní body

  • robots.txt určuje, které crawlery jsou zvány dovnitř. Omylem zablokované AI crawlery mohou zabránit tomu, aby byl váš obsah použit v odpovědích.
  • Některé crawlery sbírají data pro trénink modelů; jiné načítají stránky, aby odpověděly na otázku uživatele. O každém druhu rozhodujte zvlášť.
  • llms.txt je návrh: levný, volitelný a nic nezaručuje.
  • Chování crawlerů se v čase mění, proto sledujte oficiální dokumentaci každého poskytovatele.

Co má robots.txt společného s AI?

robots.txt je umístěn v kořenovém adresáři webu a obsahuje pravidla podle názvu crawleru (user agent): které crawlery mohou vstoupit a kterým sekcím se mají vyhnout. AI společnosti zveřejňují názvy, které používají, aby pro ně majitelé webů mohli nastavit konkrétní pravidla. Několik, na které pravděpodobně narazíte:

  • GPTBot
  • OAI-SearchBot
  • ChatGPT-User
  • ClaudeBot
  • PerplexityBot
  • Google-Extended

Syntaxe je stejná jako u jakéhokoli jiného pravidla v robots.txt:

User-agent: <název crawleru>
Disallow: /slozka-kterou-maji-crawlery-vynechat/

Každý poskytovatel popisuje, k čemu jednotlivé názvy slouží, ve své vlastní dokumentaci. Seznam i chování se mohou měnit, proto se místo původní dokumentace nespoléhejte na žádný článek, včetně tohoto.

Jak se liší trénovací crawlery od crawlerů pro odpovědi?

Zjednodušeně existují dva hlavní účely:

  • Sběr dat pro trénink modelů. Obsah se stává studijním materiálem pro budoucí verze modelu.
  • Načítání stránek pro odpověď na otázku. Když se uživatel na něco zeptá, systém vyhledá a přečte relevantní stránky, aby sestavil odpověď, často s uvedením zdrojů.

Toto rozlišení je důležité při rozhodování. Plošné pravidlo proti všem AI crawlerům může nechtěně vyřadit web z odpovědí založených na vyhledávání, přestože firma ve skutečnosti chtěla jen omezit využití svého obsahu pro trénink. Které druhy povolit a které blokovat, je obchodní rozhodnutí každé organizace; vyhnout se je třeba blokování, aniž víte, co blokujete.

Co robots.txt dokáže a co ne?

  • Je to žádost, ne vynucovací mechanismus. Slušně se chovající crawlery ji dodržují; soubor přístupu technicky nebrání. Obsah, který je třeba chránit, by měl být za přihlášením nebo řízením přístupu.
  • Povoleno neznamená použito. Otevřít crawlerům dveře je jen předpoklad. Zda bude obsah vybrán, stále závisí na jeho kvalitě a relevanci. Viz jak AI vybírá zdroje.
  • Není to jediná bariéra. Firewall, služba ochrany proti botům nebo konfigurace serveru mohou AI crawlery zablokovat, i když je robots.txt povoluje.

Co je llms.txt?

llms.txt je navrhovaná konvence: umístit do kořenového adresáře webu soubor ve formátu Markdown, který web shrnuje pro jazykové modely. Obvykle obsahuje název webu, krátký úvod a seznam odkazů na nejdůležitější stránky, každý se stručným popisem. Myšlenkou je předat modelu kompaktní, čitelnou mapu, místo aby se musel celou strukturou webu probírat sám.

Co llms.txt není?

  • Není to oficiální standard. Zatím jde o návrh.
  • Nepodporují ho všichni poskytovatelé AI. Míra přijetí se liší a nelze předpokládat, že konkrétní AI asistent soubor přečte.
  • Není to záruka. Mít llms.txt neznamená být častěji citován nebo zmiňován.
  • Nenahrazuje robots.txt. llms.txt neřídí přístup crawlerů.
  • Nenahrazuje kvalitní obsah. Úhledné shrnutí nevyváží stránky, kterým chybí konkrétní informace.

Vyplatí se llms.txt vytvořit?

Můžete, pokud to berete jako malý, volitelný úkol. Náklady jsou nízké: jeden textový soubor, který aktualizujete při změně struktury webu. Pokud se do toho pustíte, udržujte soubor krátký a přesný, odkazujte jen na kanonické stránky a dbejte, aby odpovídal tomu, co na webu skutečně je. Nečekejte, že samotný tento soubor přinese měřitelnou změnu, a nedávejte mu přednost před zásadnější prací.

Co zkontrolovat nejdřív?

  1. Otevřete robots.txt a hledejte pravidla, která AI crawlery blokují nechtěně.
  2. Na základě dokumentace poskytovatelů stanovte pravidla pro každý druh crawleru.
  3. Zkontrolujte nastavení firewallu a ochrany proti botům.
  4. Ověřte, že hlavní obsah lze přečíst jako text bez přihlášení.
  5. Až budou předchozí kroky hotové, zvažte llms.txt.
  6. Pravidelně vše znovu kontrolujte.

Dostupnost je jen první vrstva. Aby AI značce správně rozuměla a měla důvod ji citovat, potřebuje značka také základy entit, citovatelný obsah a přítomnost v mnoha zdrojích. Můžete si přečíst o rámci G.E.O nebo o službě GEONGON Entity a schema.

Související články

Jak si dnes vaše značka stojí v odpovědích AI?

Začněme rozhovorem a prvním pohledem na to, jak viditelná je vaše značka na platformách AI.

Získat audit viditelnosti v AI