robots.txt е файлът, чрез който уебсайтът указва на роботите (crawlers), включително на тези на AI компаниите, до кои части на сайта имат достъп. llms.txt е предложена конвенция: Markdown файл в основната директория на сайта, който обобщава сайта за езиковите модели. Нито един от двата не гарантира, че брандът ще се появи в отговорите на AI: robots.txt е молба, която добронамерените роботи спазват, а llms.txt не е официален стандарт и поддръжката му варира от доставчик до доставчик.
Основни изводи
- robots.txt указва кои роботи са поканени. Блокирането на AI роботи по погрешка може да попречи съдържанието Ви да бъде използвано в отговорите.
- Някои роботи събират данни за обучение на модели; други извличат страници, за да отговорят на въпрос на потребител. Решавайте за всеки вид поотделно.
- llms.txt е предложение: евтино, незадължително и без никаква гаранция.
- Поведението на роботите се променя с времето, затова проверявайте официалната документация на всеки доставчик.
Каква е връзката на robots.txt с AI?
robots.txt се намира в основната директория на уебсайта и съдържа правила по име на робота (user agent): кои роботи могат да влизат и от кои раздели трябва да стоят настрана. AI компаниите публикуват имената, които използват, за да могат собствениците на сайтове да задават конкретни правила за тях. Някои, на които вероятно ще попаднете:
- GPTBot
- OAI-SearchBot
- ChatGPT-User
- ClaudeBot
- PerplexityBot
- Google-Extended
Синтаксисът е същият като при всяко друго правило в robots.txt:
User-agent: <име на робота>
Disallow: /папка-която-роботите-да-пропускат/
Всеки доставчик описва за какво служи всяко име в собствената си документация. Списъкът и поведението могат да се променят, затова не разчитайте на която и да е статия, включително тази, вместо на оригиналната документация.
С какво роботите за обучение се различават от роботите за отговори?
Най-общо има две основни цели:
- Събиране на данни за обучение на модели. Съдържанието става учебен материал за следващи версии на даден модел.
- Извличане на страници, за да се отговори на въпрос. Когато потребител попита нещо, системата намира и прочита релевантни страници, за да състави отговора си, често с посочени източници.
Разграничението има значение, когато вземате решения. Общо правило срещу всички AI роботи може неволно да извади уебсайта от отговорите, базирани на извличане, докато всъщност бизнесът е искал само да ограничи използването на съдържанието си за обучение. Кои видове да разрешите или блокирате е бизнес решение на всяка организация; това, което трябва да избягвате, е да блокирате, без да знаете какво блокирате.
Какво може robots.txt и какво не може?
- Това е молба, а не механизъм за налагане. Добронамерените роботи го спазват; файлът не предотвратява технически достъпа. Съдържание, което трябва да бъде защитено, трябва да стои зад вход в акаунт или контрол на достъпа.
- Разрешено не означава използвано. Отварянето на вратата за роботите е само предпоставка. Дали съдържанието ще бъде избрано, все така зависи от неговото качество и релевантност. Вижте как AI избира своите източници.
- Не е единствената бариера. Защитна стена (firewall), услуга за защита от ботове или конфигурацията на сървъра също могат да блокират AI роботите, дори когато robots.txt ги разрешава.
Какво е llms.txt?
llms.txt е предложена конвенция: в основната директория на уебсайта се поставя Markdown файл, който обобщава сайта за езиковите модели. Обикновено съдържа името на сайта, кратко въведение и списък с линкове към най-важните страници, всеки с кратко описание. Идеята е моделът да получи компактна, четима карта, вместо сам да разучава цялата структура на сайта.
Какво не е llms.txt?
- Не е официален стандарт. Засега е предложение.
- Не се поддържа от всеки AI доставчик. Възприемането варира и не бива да приемате, че даден AI асистент ще прочете файла.
- Не е гаранция. Наличието на llms.txt не означава по-често цитиране или споменаване.
- Не замества robots.txt. llms.txt не контролира достъпа на роботите.
- Не замества доброто съдържание. Едно подредено обобщение не може да компенсира страници, в които липсва конкретна информация.
Трябва ли да създадете llms.txt?
Можете, стига да го приемате като малка, незадължителна задача. Разходът е малък: един текстов файл, който се обновява, когато структурата на сайта се промени. Ако го направите, поддържайте файла кратък и точен, слагайте линкове само към каноничните страници и се уверете, че остава в съответствие с реалното съдържание на уебсайта. Не очаквайте само този файл да доведе до измерима промяна и не го поставяйте пред по-фундаменталната работа.
Какво да проверите първо?
- Отворете robots.txt и потърсете правила, които неволно блокират AI роботите.
- Определете политика за всеки вид робот въз основа на документацията на доставчиците.
- Проверете настройките на защитната стена и на защитата от ботове.
- Уверете се, че основното съдържание може да се прочете като текст без вход в акаунт.
- Обмислете llms.txt, след като горните стъпки са изпълнени.
- Преглеждайте периодично.
Достъпността е само първият слой. За да разбира AI един бранд правилно и да има причина да го цитира, брандът се нуждае и от основа от същности, съдържание, което може да бъде цитирано, и присъствие в много източници. Можете да прочетете за рамката G.E.O или за услугата на GEONGON Същности и Schema.