robots.txt — це файл, за допомогою якого сайт повідомляє краулерам, зокрема краулерам ШІ-компаній, до яких розділів вони мають доступ. llms.txt — запропонована домовленість: Markdown-файл у корені сайту, який стисло описує сайт для мовних моделей. Ні те, ні інше не гарантує, що бренд з’явиться у відповідях ШІ: robots.txt — це прохання, яке виконують сумлінні краулери, а llms.txt не є офіційним стандартом, і його підтримка в різних провайдерів різна.
Головне
- robots.txt визначає, яких краулерів ви пускаєте. Якщо помилково заблокувати ШІ-краулери, ваш контент може не потрапити у відповіді.
- Одні краулери збирають дані для навчання моделей, інші завантажують сторінки, щоб відповісти на запитання користувача. Рішення щодо кожного типу варто ухвалювати окремо.
- llms.txt — це пропозиція: недорога, необов’язкова й нічого не гарантує.
- Поведінка краулерів із часом змінюється, тому звіряйтеся з офіційною документацією кожного провайдера.
Який стосунок robots.txt має до ШІ?
robots.txt розміщується в корені сайту й містить правила для краулерів за їхніми іменами (user agent): кому можна заходити і в які розділи заходити не слід. ШІ-компанії публікують імена своїх краулерів, щоб власники сайтів могли задавати для них окремі правила. Деякі з тих, що вам, найімовірніше, трапляться:
- GPTBot
- OAI-SearchBot
- ChatGPT-User
- ClaudeBot
- PerplexityBot
- Google-Extended
Синтаксис такий самий, як у будь-якого іншого правила robots.txt:
User-agent: <ім’я краулера>
Disallow: /a-folder-you-want-crawlers-to-skip/
Кожен провайдер описує призначення кожного імені у своїй документації. Список і поведінка можуть змінюватися, тому не покладайтеся на будь-які статті, зокрема на цю, замість першоджерела.
Чим краулери для навчання відрізняються від краулерів для відповідей?
Загалом є два основні призначення:
- Збір даних для навчання моделей. Контент стає навчальним матеріалом для майбутніх версій моделі.
- Завантаження сторінок для відповіді на запитання. Коли користувач щось питає, система знаходить і читає релевантні сторінки, щоб скласти відповідь, часто із зазначенням джерел.
Ця відмінність важлива під час ухвалення рішень. Загальне правило проти всіх ШІ-краулерів може ненавмисно виключити сайт із відповідей, які будуються на пошуку, хоча насправді компанія хотіла лише обмежити використання свого контенту для навчання. Які типи дозволяти чи блокувати — це бізнес-рішення кожної організації; головне — не блокувати, не розуміючи, що саме ви блокуєте.
Що robots.txt може, а чого не може?
- Це прохання, а не механізм примусу. Сумлінні краулери його виконують, але технічно файл доступу не закриває. Контент, який потрібно захистити, має бути за авторизацією або системою контролю доступу.
- Дозволено — не означає використано. Відкрити доступ краулерам — лише попередня умова. Чи буде контент обрано, і далі залежить від його якості та релевантності. Див. статтю про те, як ШІ обирає джерела.
- Це не єдиний бар’єр. Файрвол, сервіс захисту від ботів або налаштування сервера теж можуть блокувати ШІ-краулери, навіть якщо robots.txt їх пропускає.
Що таке llms.txt?
llms.txt — запропонована домовленість: у корені сайту розміщують Markdown-файл, який стисло описує сайт для мовних моделей. Зазвичай він містить назву сайту, короткий вступ і список посилань на найважливіші сторінки зі стислим описом кожної. Ідея в тому, щоб дати моделі компактну й зрозумілу карту, а не залишати її розбиратися в усій структурі сайту самостійно.
Чим llms.txt не є?
- Це не офіційний стандарт. Поки що це лише пропозиція.
- Його підтримують не всі ШІ-провайдери. Ступінь поширення різний, і не варто розраховувати, що той чи інший ШІ-асистент прочитає цей файл.
- Це не гарантія. Наявність llms.txt не означає, що вас частіше цитуватимуть чи згадуватимуть.
- Це не заміна robots.txt. llms.txt не керує доступом краулерів.
- Це не заміна хорошому контенту. Акуратний опис не компенсує сторінки, на яких бракує конкретної інформації.
Чи варто створювати llms.txt?
Можна, якщо ставитися до цього як до невеликого необов’язкового завдання. Витрати невеликі: один текстовий файл, який оновлюється, коли змінюється структура сайту. Якщо вирішите його зробити, тримайте файл коротким і точним, посилайтеся лише на канонічні сторінки й стежте, щоб він відповідав тому, що справді є на сайті. Не чекайте, що один цей файл дасть вимірюваний ефект, і не ставте його вище за більш фундаментальну роботу.
Що перевірити насамперед?
- Відкрийте robots.txt і знайдіть правила, які ненавмисно блокують ШІ-краулери.
- Визначте політику для кожного типу краулерів на основі документації провайдерів.
- Перевірте налаштування файрвола й захисту від ботів.
- Переконайтеся, що основний контент доступний у вигляді тексту без авторизації.
- Розгляньте llms.txt, коли кроки вище виконано.
- Періодично повторюйте перевірку.
Доступність — лише перший шар. Щоб ШІ правильно розумів бренд і мав причини його цитувати, бренду також потрібні фундамент із сутностей, контент, вартий цитування, і присутність у багатьох джерелах. Ви можете прочитати про фреймворк G.E.O або про послугу GEONGON «Сутності та Schema».