Wiedza

llms.txt i crawlery AI: czym są, a czym nie są

robots.txt dla crawlerów AI i propozycja llms.txt: czym są, co mogą, a czego nie mogą zrobić dla obecności marki w odpowiedziach AI.

robots.txt to plik, za pomocą którego strona informuje crawlery – w tym te obsługiwane przez firmy AI – do których części serwisu mogą mieć dostęp. llms.txt to proponowana konwencja: plik Markdown w katalogu głównym strony, który podsumowuje serwis dla modeli językowych. Żaden z nich nie gwarantuje, że marka pojawi się w odpowiedziach AI: robots.txt to prośba, której przestrzegają dobrze zachowujące się crawlery, a llms.txt nie jest oficjalnym standardem, a jego obsługa różni się w zależności od dostawcy.

Najważniejsze wnioski

  • robots.txt określa, które crawlery są zaproszone. Przypadkowe zablokowanie crawlerów AI może sprawić, że Państwa treści nie zostaną wykorzystane w odpowiedziach.
  • Część crawlerów zbiera dane do trenowania modeli; inne pobierają strony, aby odpowiedzieć na pytanie użytkownika. Decyzję warto podjąć osobno dla każdego rodzaju.
  • llms.txt to propozycja: tania, opcjonalna i niczego niegwarantująca.
  • Zachowanie crawlerów zmienia się w czasie, dlatego należy sprawdzać oficjalną dokumentację każdego dostawcy.

Co robots.txt ma wspólnego z AI?

robots.txt znajduje się w katalogu głównym strony i zawiera reguły według nazwy crawlera (user agent): które crawlery mogą wejść i których sekcji powinny unikać. Firmy AI publikują nazwy, których używają, aby właściciele stron mogli ustalać dla nich konkretne reguły. Oto niektóre z nich, na które prawdopodobnie Państwo natrafią:

  • GPTBot
  • OAI-SearchBot
  • ChatGPT-User
  • ClaudeBot
  • PerplexityBot
  • Google-Extended

Składnia jest taka sama jak w przypadku każdej innej reguły robots.txt:

User-agent: <nazwa crawlera>
Disallow: /katalog-do-pominiecia-przez-crawlery/

Każdy dostawca opisuje przeznaczenie poszczególnych nazw we własnej dokumentacji. Lista i zachowanie crawlerów mogą się zmieniać, dlatego żaden artykuł – łącznie z tym – nie powinien zastępować oryginalnej dokumentacji.

Czym crawlery trenujące różnią się od crawlerów odpowiadających na pytania?

W uproszczeniu istnieją dwa główne cele:

  • Zbieranie danych do trenowania modeli. Treści stają się materiałem do nauki dla kolejnych wersji modelu.
  • Pobieranie stron, aby odpowiedzieć na pytanie. Gdy użytkownik o coś pyta, system wyszukuje i czyta odpowiednie strony, aby ułożyć odpowiedź, często z podaniem źródeł.

To rozróżnienie ma znaczenie przy podejmowaniu decyzji. Ogólna reguła blokująca wszystkie crawlery AI może niechcący usunąć stronę z odpowiedzi opartych na wyszukiwaniu, podczas gdy firma chciała jedynie ograniczyć wykorzystanie swoich treści do trenowania. Które rodzaje crawlerów dopuścić, a które zablokować, to biznesowa decyzja każdej organizacji; należy jedynie unikać blokowania bez wiedzy, co się blokuje.

Co robots.txt może, a czego nie może?

  • To prośba, a nie mechanizm egzekwowania. Dobrze zachowujące się crawlery jej przestrzegają; plik nie blokuje dostępu technicznie. Treści wymagające ochrony powinny znajdować się za logowaniem lub kontrolą dostępu.
  • Dopuszczenie nie oznacza wykorzystania. Otwarcie drzwi crawlerom to tylko warunek wstępny. To, czy treść zostanie wybrana, nadal zależy od jej jakości i trafności. Więcej w artykule jak AI wybiera źródła.
  • To nie jedyna bariera. Firewall, usługa ochrony przed botami lub konfiguracja serwera również mogą blokować crawlery AI, nawet jeśli robots.txt na to pozwala.

Czym jest llms.txt?

llms.txt to proponowana konwencja: umieszczenie w katalogu głównym strony pliku Markdown, który podsumowuje serwis dla modeli językowych. Zwykle zawiera nazwę serwisu, krótkie wprowadzenie i listę linków do najważniejszych stron, każdy z krótkim opisem. Chodzi o to, by przekazać modelowi zwięzłą, czytelną mapę, zamiast zostawiać go z samodzielnym przedzieraniem się przez pełną strukturę serwisu.

Czym llms.txt nie jest?

  • Nie jest oficjalnym standardem. Na razie to propozycja.
  • Nie jest obsługiwany przez wszystkich dostawców AI. Stopień wdrożenia jest różny i nie należy zakładać, że konkretny asystent AI odczyta ten plik.
  • Nie jest gwarancją. Posiadanie llms.txt nie oznacza częstszych cytowań ani wzmianek.
  • Nie zastępuje robots.txt. llms.txt nie kontroluje dostępu crawlerów.
  • Nie zastępuje dobrych treści. Uporządkowane podsumowanie nie zrekompensuje stron pozbawionych konkretnych informacji.

Czy warto utworzyć llms.txt?

Można, o ile traktuje się to jako małe, opcjonalne zadanie. Koszt jest niski: jeden plik tekstowy, aktualizowany przy zmianach struktury serwisu. Jeśli zdecydują się Państwo na ten krok, plik powinien być krótki i rzetelny, linkować wyłącznie do stron kanonicznych i pozostawać zgodny z tym, co faktycznie znajduje się na stronie. Nie należy oczekiwać, że sam ten plik przyniesie mierzalną zmianę, ani stawiać go przed bardziej fundamentalnymi pracami.

Co sprawdzić w pierwszej kolejności?

  1. Otworzyć robots.txt i poszukać reguł, które niechcący blokują crawlery AI.
  2. Ustalić politykę dla każdego rodzaju crawlera na podstawie dokumentacji dostawców.
  3. Sprawdzić ustawienia firewalla i ochrony przed botami.
  4. Upewnić się, że główna treść jest dostępna jako tekst bez logowania.
  5. Rozważyć llms.txt po wykonaniu powyższych kroków.
  6. Okresowo powtarzać przegląd.

Dostępność to tylko pierwsza warstwa. Aby AI poprawnie rozumiała markę i miała powód, by ją cytować, marka potrzebuje także fundamentów encji, treści wartych cytowania i obecności w wielu źródłach. Więcej na ten temat w opisie modelu G.E.O oraz usługi GEONGON Encje i Schema.

Powiązane artykuły

Jak dziś wypada Państwa marka w odpowiedziach AI?

Zacznijmy od rozmowy i pierwszej oceny tego, jak widoczna jest Państwa marka na platformach AI.

Zamów audyt widoczności w AI