robots.txt to plik, za pomocą którego strona informuje crawlery – w tym te obsługiwane przez firmy AI – do których części serwisu mogą mieć dostęp. llms.txt to proponowana konwencja: plik Markdown w katalogu głównym strony, który podsumowuje serwis dla modeli językowych. Żaden z nich nie gwarantuje, że marka pojawi się w odpowiedziach AI: robots.txt to prośba, której przestrzegają dobrze zachowujące się crawlery, a llms.txt nie jest oficjalnym standardem, a jego obsługa różni się w zależności od dostawcy.
Najważniejsze wnioski
- robots.txt określa, które crawlery są zaproszone. Przypadkowe zablokowanie crawlerów AI może sprawić, że Państwa treści nie zostaną wykorzystane w odpowiedziach.
- Część crawlerów zbiera dane do trenowania modeli; inne pobierają strony, aby odpowiedzieć na pytanie użytkownika. Decyzję warto podjąć osobno dla każdego rodzaju.
- llms.txt to propozycja: tania, opcjonalna i niczego niegwarantująca.
- Zachowanie crawlerów zmienia się w czasie, dlatego należy sprawdzać oficjalną dokumentację każdego dostawcy.
Co robots.txt ma wspólnego z AI?
robots.txt znajduje się w katalogu głównym strony i zawiera reguły według nazwy crawlera (user agent): które crawlery mogą wejść i których sekcji powinny unikać. Firmy AI publikują nazwy, których używają, aby właściciele stron mogli ustalać dla nich konkretne reguły. Oto niektóre z nich, na które prawdopodobnie Państwo natrafią:
- GPTBot
- OAI-SearchBot
- ChatGPT-User
- ClaudeBot
- PerplexityBot
- Google-Extended
Składnia jest taka sama jak w przypadku każdej innej reguły robots.txt:
User-agent: <nazwa crawlera>
Disallow: /katalog-do-pominiecia-przez-crawlery/
Każdy dostawca opisuje przeznaczenie poszczególnych nazw we własnej dokumentacji. Lista i zachowanie crawlerów mogą się zmieniać, dlatego żaden artykuł – łącznie z tym – nie powinien zastępować oryginalnej dokumentacji.
Czym crawlery trenujące różnią się od crawlerów odpowiadających na pytania?
W uproszczeniu istnieją dwa główne cele:
- Zbieranie danych do trenowania modeli. Treści stają się materiałem do nauki dla kolejnych wersji modelu.
- Pobieranie stron, aby odpowiedzieć na pytanie. Gdy użytkownik o coś pyta, system wyszukuje i czyta odpowiednie strony, aby ułożyć odpowiedź, często z podaniem źródeł.
To rozróżnienie ma znaczenie przy podejmowaniu decyzji. Ogólna reguła blokująca wszystkie crawlery AI może niechcący usunąć stronę z odpowiedzi opartych na wyszukiwaniu, podczas gdy firma chciała jedynie ograniczyć wykorzystanie swoich treści do trenowania. Które rodzaje crawlerów dopuścić, a które zablokować, to biznesowa decyzja każdej organizacji; należy jedynie unikać blokowania bez wiedzy, co się blokuje.
Co robots.txt może, a czego nie może?
- To prośba, a nie mechanizm egzekwowania. Dobrze zachowujące się crawlery jej przestrzegają; plik nie blokuje dostępu technicznie. Treści wymagające ochrony powinny znajdować się za logowaniem lub kontrolą dostępu.
- Dopuszczenie nie oznacza wykorzystania. Otwarcie drzwi crawlerom to tylko warunek wstępny. To, czy treść zostanie wybrana, nadal zależy od jej jakości i trafności. Więcej w artykule jak AI wybiera źródła.
- To nie jedyna bariera. Firewall, usługa ochrony przed botami lub konfiguracja serwera również mogą blokować crawlery AI, nawet jeśli robots.txt na to pozwala.
Czym jest llms.txt?
llms.txt to proponowana konwencja: umieszczenie w katalogu głównym strony pliku Markdown, który podsumowuje serwis dla modeli językowych. Zwykle zawiera nazwę serwisu, krótkie wprowadzenie i listę linków do najważniejszych stron, każdy z krótkim opisem. Chodzi o to, by przekazać modelowi zwięzłą, czytelną mapę, zamiast zostawiać go z samodzielnym przedzieraniem się przez pełną strukturę serwisu.
Czym llms.txt nie jest?
- Nie jest oficjalnym standardem. Na razie to propozycja.
- Nie jest obsługiwany przez wszystkich dostawców AI. Stopień wdrożenia jest różny i nie należy zakładać, że konkretny asystent AI odczyta ten plik.
- Nie jest gwarancją. Posiadanie llms.txt nie oznacza częstszych cytowań ani wzmianek.
- Nie zastępuje robots.txt. llms.txt nie kontroluje dostępu crawlerów.
- Nie zastępuje dobrych treści. Uporządkowane podsumowanie nie zrekompensuje stron pozbawionych konkretnych informacji.
Czy warto utworzyć llms.txt?
Można, o ile traktuje się to jako małe, opcjonalne zadanie. Koszt jest niski: jeden plik tekstowy, aktualizowany przy zmianach struktury serwisu. Jeśli zdecydują się Państwo na ten krok, plik powinien być krótki i rzetelny, linkować wyłącznie do stron kanonicznych i pozostawać zgodny z tym, co faktycznie znajduje się na stronie. Nie należy oczekiwać, że sam ten plik przyniesie mierzalną zmianę, ani stawiać go przed bardziej fundamentalnymi pracami.
Co sprawdzić w pierwszej kolejności?
- Otworzyć robots.txt i poszukać reguł, które niechcący blokują crawlery AI.
- Ustalić politykę dla każdego rodzaju crawlera na podstawie dokumentacji dostawców.
- Sprawdzić ustawienia firewalla i ochrony przed botami.
- Upewnić się, że główna treść jest dostępna jako tekst bez logowania.
- Rozważyć llms.txt po wykonaniu powyższych kroków.
- Okresowo powtarzać przegląd.
Dostępność to tylko pierwsza warstwa. Aby AI poprawnie rozumiała markę i miała powód, by ją cytować, marka potrzebuje także fundamentów encji, treści wartych cytowania i obecności w wielu źródłach. Więcej na ten temat w opisie modelu G.E.O oraz usługi GEONGON Encje i Schema.