Чланци

llms.txt и AI краулери: шта јесу, а шта нису

robots.txt за AI краулере и предлог llms.txt: шта представљају, шта могу, а шта не могу да учине за присуство бренда у AI одговорима.

robots.txt је датотека којом сајт поручује краулерима (crawlers), укључујући и оне које користе AI компаније, којим деловима сајта смеју да приступе. llms.txt је предложена конвенција: Markdown датотека у основном директоријуму сајта која сажима сајт за језичке моделе. Ниједна од њих не гарантује да ће се бренд појавити у AI одговорима: robots.txt је захтев који поштују коректни краулери, а llms.txt није званичан стандард и подршка за њега се разликује од провајдера до провајдера.

Кључни закључци

  • robots.txt говори који краулери су добродошли. Ако грешком блокирате AI краулере, Ваш садржај можда неће бити коришћен у одговорима.
  • Неки краулери прикупљају податке за тренирање модела; други преузимају странице да би одговорили на питање корисника. О свакој врсти одлучујте засебно.
  • llms.txt је предлог: јефтин, необавезан и без икакве гаранције.
  • Понашање краулера се мења током времена, па проверавајте званичну документацију сваког провајдера.

Какве везе robots.txt има са AI?

robots.txt се налази у основном директоријуму сајта и садржи правила по називу краулера (user agent): који краулери смеју да уђу и од којих одељака треба да се држе подаље. AI компаније објављују називе које користе, како би власници сајтова могли да поставе посебна правила за њих. Неки на које ћете вероватно наићи:

  • GPTBot
  • OAI-SearchBot
  • ChatGPT-User
  • ClaudeBot
  • PerplexityBot
  • Google-Extended

Синтакса је иста као за било које друго правило у robots.txt датотеци:

User-agent: <назив краулера>
Disallow: /фасцикла-коју-краулери-треба-да-прескоче/

Сваки провајдер у својој документацији описује чему служи који назив. Списак и понашање могу да се промене, па се не ослањајте ни на један чланак, укључујући и овај, уместо на оригиналну документацију.

По чему се краулери за тренирање разликују од краулера за одговоре?

Уопштено, постоје две главне сврхе:

  • Прикупљање података за тренирање модела. Садржај постаје материјал за учење каснијих верзија модела.
  • Преузимање страница ради одговора на питање. Када корисник нешто пита, систем проналази и чита релевантне странице да би саставио одговор, често уз наведене изворе.

Ова разлика је важна када доносите одлуке. Опште правило против свих AI краулера може ненамерно да избаци сајт из одговора заснованих на преузимању, иако је компанија у ствари само желела да ограничи коришћење свог садржаја за тренирање. Које врсте дозволити, а које блокирати пословна је одлука сваке организације; оно што треба избећи јесте блокирање без знања шта се блокира.

Шта robots.txt може, а шта не може?

  • То је захтев, а не механизам принуде. Коректни краулери га поштују; датотека технички не спречава приступ. Садржај који треба заштитити треба да буде иза пријаве или контроле приступа.
  • Дозвољено не значи искоришћено. Отварање врата краулерима само је предуслов. Да ли ће садржај бити изабран и даље зависи од његовог квалитета и релевантности. Погледајте како AI бира изворе.
  • То није једина препрека. Заштитни зид (firewall), услуга заштите од ботова или конфигурација сервера такође могу да блокирају AI краулере, чак и када их robots.txt дозвољава.

Шта је llms.txt?

llms.txt је предложена конвенција: у основни директоријум сајта поставља се Markdown датотека која сажима сајт за језичке моделе. Обично садржи назив сајта, кратак увод и листу линкова ка најважнијим страницама, сваки са кратким описом. Идеја је да модел добије компактну, читљиву мапу уместо да сам пролази кроз целу структуру сајта.

Шта llms.txt није?

  • Није званичан стандард. За сада је то предлог.
  • Не подржава га сваки AI провајдер. Прихваћеност варира и не треба да претпостављате да ће одређени AI асистент прочитати датотеку.
  • Није гаранција. Постојање llms.txt датотеке не значи чешће цитирање или помињање.
  • Није замена за robots.txt. llms.txt не контролише приступ краулера.
  • Није замена за добар садржај. Уредан сажетак не може да надокнади странице којима недостају конкретне информације.

Да ли треба да направите llms.txt?

Можете, ако га посматрате као мали, необавезан задатак. Трошак је низак: једна текстуална датотека, коју ажурирате када се структура сајта промени. Ако то урадите, нека датотека буде кратка и тачна, стављајте линкове само ка канонским страницама и постарајте се да остане усклађена са оним што се стварно налази на сајту. Не очекујте да ће сама ова датотека донети мерљиву промену и не стављајте је испред суштинскијег рада.

Шта прво проверити?

  1. Отворите robots.txt и потражите правила која ненамерно блокирају AI краулере.
  2. Одредите политику за сваку врсту краулера на основу документације провајдера.
  3. Проверите подешавања заштитног зида и заштите од ботова.
  4. Уверите се да је главни садржај читљив као текст без пријаве.
  5. Размотрите llms.txt када завршите претходне кораке.
  6. Повремено све поново прегледајте.

Доступност је само први слој. Да би AI исправно разумео бренд и имао разлог да га цитира, бренду су потребни и основа ентитета, садржај вредан цитирања и присуство у више извора. Можете да прочитате о оквиру G.E.O или о услузи агенције GEONGON Ентитети и Schema.

Повезани чланци

  • 19.11.2026. · 4мин читања

    GEO и SEO: по чему се разликују и како функционишу заједно

    SEO оптимизује позицију странице у рангирању, а GEO то да ли се бренд појављује у AI одговорима. Најбоље резултате дају када раде заједно.

  • 19.11.2026. · 4мин читања

    Како AI бира које изворе да цитира?

    Уопштено говорећи, AI системи користе странице које су доступне, јасно структуриране, конкретне и усклађене са оним што кажу други извори.

  • 19.11.2026. · 4мин читања

    Како се мери AI видљивост?

    Како да измерите присуство бренда у AI одговорима помоћу фиксног скупа промптова и четири метрике: помињање, цитирање, удео гласа и сентимент.

Где се Ваш бренд данас налази у AI одговорима?

Почните разговором и првим увидом у то колико је Ваш бренд видљив на AI платформама.

Затражите аудит AI видљивости