robots.txt — это файл, с помощью которого сайт сообщает краулерам, в том числе краулерам ИИ-компаний, к каким разделам у них есть доступ. llms.txt — предлагаемое соглашение: Markdown-файл в корне сайта, который кратко описывает сайт для языковых моделей. Ни то ни другое не гарантирует, что бренд появится в ответах ИИ: robots.txt — это просьба, которую соблюдают добросовестные краулеры, а llms.txt не является официальным стандартом, и его поддержка у разных провайдеров разная.
Главное
- robots.txt определяет, каких краулеров вы пускаете. Если по ошибке заблокировать ИИ-краулеры, ваш контент может не попасть в ответы.
- Одни краулеры собирают данные для обучения моделей, другие загружают страницы, чтобы ответить на вопрос пользователя. Решение по каждому типу стоит принимать отдельно.
- llms.txt — это предложение: недорогое, необязательное и ничего не гарантирующее.
- Поведение краулеров со временем меняется, поэтому сверяйтесь с официальной документацией каждого провайдера.
Какое отношение robots.txt имеет к ИИ?
robots.txt лежит в корне сайта и содержит правила для краулеров по их именам (user agent): кому можно заходить и в какие разделы заходить не следует. ИИ-компании публикуют имена своих краулеров, чтобы владельцы сайтов могли задавать для них отдельные правила. Некоторые из тех, что вам, скорее всего, встретятся:
- GPTBot
- OAI-SearchBot
- ChatGPT-User
- ClaudeBot
- PerplexityBot
- Google-Extended
Синтаксис такой же, как у любого другого правила robots.txt:
User-agent: <имя краулера>
Disallow: /a-folder-you-want-crawlers-to-skip/
Каждый провайдер описывает назначение каждого имени в своей документации. Список и поведение могут меняться, поэтому не полагайтесь на какие-либо статьи, включая эту, вместо первоисточника.
Чем краулеры для обучения отличаются от краулеров для ответов?
В целом есть два основных назначения:
- Сбор данных для обучения моделей. Контент становится учебным материалом для будущих версий модели.
- Загрузка страниц для ответа на вопрос. Когда пользователь что-то спрашивает, система находит и читает релевантные страницы, чтобы составить ответ, часто с указанием источников.
Это различие важно при принятии решений. Общее правило против всех ИИ-краулеров может непреднамеренно исключить сайт из ответов, которые строятся на поиске, хотя на самом деле компания хотела лишь ограничить использование своего контента для обучения. Какие типы разрешать или блокировать — это бизнес-решение каждой организации; главное — не блокировать, не понимая, что именно вы блокируете.
Что robots.txt может, а чего не может?
- Это просьба, а не механизм принуждения. Добросовестные краулеры её соблюдают, но технически файл доступ не закрывает. Контент, который нужно защитить, должен находиться за авторизацией или системой контроля доступа.
- Разрешено — не значит использовано. Открыть доступ краулерам — лишь предварительное условие. Будет ли контент выбран, по-прежнему зависит от его качества и релевантности. См. статью о том, как ИИ выбирает источники.
- Это не единственный барьер. Файрвол, сервис защиты от ботов или настройки сервера тоже могут блокировать ИИ-краулеры, даже если robots.txt их пропускает.
Что такое llms.txt?
llms.txt — предлагаемое соглашение: в корне сайта размещается Markdown-файл, который кратко описывает сайт для языковых моделей. Обычно он содержит название сайта, короткое вступление и список ссылок на самые важные страницы с кратким описанием каждой. Идея в том, чтобы дать модели компактную и понятную карту, а не оставлять её разбираться во всей структуре сайта самостоятельно.
Чем llms.txt не является?
- Это не официальный стандарт. Пока это лишь предложение.
- Его поддерживают не все ИИ-провайдеры. Степень распространения разная, и не стоит рассчитывать, что тот или иной ИИ-ассистент прочитает этот файл.
- Это не гарантия. Наличие llms.txt не означает, что вас будут чаще цитировать или упоминать.
- Это не замена robots.txt. llms.txt не управляет доступом краулеров.
- Это не замена хорошему контенту. Аккуратное описание не компенсирует страницы, на которых не хватает конкретной информации.
Стоит ли создавать llms.txt?
Можно, если относиться к этому как к небольшой необязательной задаче. Затраты невелики: один текстовый файл, который обновляется при изменении структуры сайта. Если решите его сделать, держите файл коротким и точным, ссылайтесь только на канонические страницы и следите, чтобы он соответствовал тому, что действительно есть на сайте. Не ждите, что один этот файл даст измеримый эффект, и не ставьте его выше более фундаментальной работы.
Что проверить в первую очередь?
- Откройте robots.txt и найдите правила, которые непреднамеренно блокируют ИИ-краулеры.
- Определите политику для каждого типа краулеров на основе документации провайдеров.
- Проверьте настройки файрвола и защиты от ботов.
- Убедитесь, что основной контент доступен в виде текста без авторизации.
- Рассмотрите llms.txt, когда шаги выше выполнены.
- Периодически повторяйте проверку.
Доступность — лишь первый слой. Чтобы ИИ правильно понимал бренд и имел причины его цитировать, бренду также нужны фундамент из сущностей, контент, достойный цитирования, и присутствие во многих источниках. Вы можете прочитать о фреймворке G.E.O или об услуге GEONGON «Сущности и Schema».