Статті

llms.txt і ШІ-краулери: що це таке і чим вони не є

robots.txt для ШІ-краулерів і пропозиція llms.txt: що це таке, що вони можуть і чого не можуть дати для присутності бренду в ШІ.

robots.txt — це файл, за допомогою якого сайт повідомляє краулерам, зокрема краулерам ШІ-компаній, до яких розділів вони мають доступ. llms.txt — запропонована домовленість: Markdown-файл у корені сайту, який стисло описує сайт для мовних моделей. Ні те, ні інше не гарантує, що бренд з’явиться у відповідях ШІ: robots.txt — це прохання, яке виконують сумлінні краулери, а llms.txt не є офіційним стандартом, і його підтримка в різних провайдерів різна.

Головне

  • robots.txt визначає, яких краулерів ви пускаєте. Якщо помилково заблокувати ШІ-краулери, ваш контент може не потрапити у відповіді.
  • Одні краулери збирають дані для навчання моделей, інші завантажують сторінки, щоб відповісти на запитання користувача. Рішення щодо кожного типу варто ухвалювати окремо.
  • llms.txt — це пропозиція: недорога, необов’язкова й нічого не гарантує.
  • Поведінка краулерів із часом змінюється, тому звіряйтеся з офіційною документацією кожного провайдера.

Який стосунок robots.txt має до ШІ?

robots.txt розміщується в корені сайту й містить правила для краулерів за їхніми іменами (user agent): кому можна заходити і в які розділи заходити не слід. ШІ-компанії публікують імена своїх краулерів, щоб власники сайтів могли задавати для них окремі правила. Деякі з тих, що вам, найімовірніше, трапляться:

  • GPTBot
  • OAI-SearchBot
  • ChatGPT-User
  • ClaudeBot
  • PerplexityBot
  • Google-Extended

Синтаксис такий самий, як у будь-якого іншого правила robots.txt:

User-agent: <ім’я краулера>
Disallow: /a-folder-you-want-crawlers-to-skip/

Кожен провайдер описує призначення кожного імені у своїй документації. Список і поведінка можуть змінюватися, тому не покладайтеся на будь-які статті, зокрема на цю, замість першоджерела.

Чим краулери для навчання відрізняються від краулерів для відповідей?

Загалом є два основні призначення:

  • Збір даних для навчання моделей. Контент стає навчальним матеріалом для майбутніх версій моделі.
  • Завантаження сторінок для відповіді на запитання. Коли користувач щось питає, система знаходить і читає релевантні сторінки, щоб скласти відповідь, часто із зазначенням джерел.

Ця відмінність важлива під час ухвалення рішень. Загальне правило проти всіх ШІ-краулерів може ненавмисно виключити сайт із відповідей, які будуються на пошуку, хоча насправді компанія хотіла лише обмежити використання свого контенту для навчання. Які типи дозволяти чи блокувати — це бізнес-рішення кожної організації; головне — не блокувати, не розуміючи, що саме ви блокуєте.

Що robots.txt може, а чого не може?

  • Це прохання, а не механізм примусу. Сумлінні краулери його виконують, але технічно файл доступу не закриває. Контент, який потрібно захистити, має бути за авторизацією або системою контролю доступу.
  • Дозволено — не означає використано. Відкрити доступ краулерам — лише попередня умова. Чи буде контент обрано, і далі залежить від його якості та релевантності. Див. статтю про те, як ШІ обирає джерела.
  • Це не єдиний бар’єр. Файрвол, сервіс захисту від ботів або налаштування сервера теж можуть блокувати ШІ-краулери, навіть якщо robots.txt їх пропускає.

Що таке llms.txt?

llms.txt — запропонована домовленість: у корені сайту розміщують Markdown-файл, який стисло описує сайт для мовних моделей. Зазвичай він містить назву сайту, короткий вступ і список посилань на найважливіші сторінки зі стислим описом кожної. Ідея в тому, щоб дати моделі компактну й зрозумілу карту, а не залишати її розбиратися в усій структурі сайту самостійно.

Чим llms.txt не є?

  • Це не офіційний стандарт. Поки що це лише пропозиція.
  • Його підтримують не всі ШІ-провайдери. Ступінь поширення різний, і не варто розраховувати, що той чи інший ШІ-асистент прочитає цей файл.
  • Це не гарантія. Наявність llms.txt не означає, що вас частіше цитуватимуть чи згадуватимуть.
  • Це не заміна robots.txt. llms.txt не керує доступом краулерів.
  • Це не заміна хорошому контенту. Акуратний опис не компенсує сторінки, на яких бракує конкретної інформації.

Чи варто створювати llms.txt?

Можна, якщо ставитися до цього як до невеликого необов’язкового завдання. Витрати невеликі: один текстовий файл, який оновлюється, коли змінюється структура сайту. Якщо вирішите його зробити, тримайте файл коротким і точним, посилайтеся лише на канонічні сторінки й стежте, щоб він відповідав тому, що справді є на сайті. Не чекайте, що один цей файл дасть вимірюваний ефект, і не ставте його вище за більш фундаментальну роботу.

Що перевірити насамперед?

  1. Відкрийте robots.txt і знайдіть правила, які ненавмисно блокують ШІ-краулери.
  2. Визначте політику для кожного типу краулерів на основі документації провайдерів.
  3. Перевірте налаштування файрвола й захисту від ботів.
  4. Переконайтеся, що основний контент доступний у вигляді тексту без авторизації.
  5. Розгляньте llms.txt, коли кроки вище виконано.
  6. Періодично повторюйте перевірку.

Доступність — лише перший шар. Щоб ШІ правильно розумів бренд і мав причини його цитувати, бренду також потрібні фундамент із сутностей, контент, вартий цитування, і присутність у багатьох джерелах. Ви можете прочитати про фреймворк G.E.O або про послугу GEONGON «Сутності та Schema».

Схожі статті

Як ваш бренд представлений у відповідях ШІ сьогодні?

Почніть із розмови та першої оцінки того, наскільки помітний ваш бренд на ШІ-платформах.

Замовити аудит видимості в ШІ