Insights

llms.txt at mga AI crawler: ano ang mga ito at ano ang hindi

Ang robots.txt para sa mga AI crawler at ang mungkahing llms.txt: ano ang mga ito, ano ang kaya at hindi kaya ng mga ito para sa presensya ng brand sa AI.

Ang robots.txt ay ang file na ginagamit ng isang website para sabihin sa mga crawler, kabilang ang mga pinapatakbo ng mga AI company, kung aling bahagi ng site ang maaari nilang i-access. Ang llms.txt ay isang iminumungkahing convention: isang Markdown file sa root ng site na nagbubuod sa site para sa mga language model. Wala sa dalawa ang gumagarantiya na lalabas ang isang brand sa mga sagot ng AI: ang robots.txt ay isang kahilingang sinusunod ng mga maayos na crawler, at ang llms.txt ay hindi opisyal na pamantayan, at iba-iba ang suporta rito ng bawat provider.

Mga pangunahing punto

  • Sinasabi ng robots.txt kung aling mga crawler ang pinapapasok. Ang di-sinasadyang pagharang sa mga AI crawler ay maaaring pumigil na magamit ang inyong content sa mga sagot.
  • May mga crawler na nangongolekta ng data para mag-train ng mga model; ang iba ay kumukuha ng mga pahina para sagutin ang tanong ng user. Pagpasyahan nang hiwalay ang bawat uri.
  • Ang llms.txt ay isang mungkahi: mababa ang gastos, opsyonal, at walang ginagarantiya.
  • Nagbabago ang kilos ng mga crawler sa paglipas ng panahon, kaya tingnan ang opisyal na dokumentasyon ng bawat provider.

Ano ang kinalaman ng robots.txt sa AI?

Nasa root ng website ang robots.txt at naglalaman ito ng mga patakaran ayon sa pangalan ng crawler (user agent): aling mga crawler ang maaaring pumasok, at aling mga seksyon ang dapat nilang iwasan. Inilalathala ng mga AI company ang mga pangalang ginagamit nila para makapagtakda ang mga may-ari ng site ng tiyak na patakaran para sa mga ito. Ilan na malamang ninyong makita:

  • GPTBot
  • OAI-SearchBot
  • ChatGPT-User
  • ClaudeBot
  • PerplexityBot
  • Google-Extended

Pareho ang syntax sa anumang ibang patakaran sa robots.txt:

User-agent: <pangalan ng crawler>
Disallow: /folder-na-gusto-ninyong-laktawan-ng-crawler/

Ipinapaliwanag ng bawat provider sa sarili nitong dokumentasyon kung para saan ang bawat pangalan. Maaaring magbago ang listahan at ang kilos, kaya huwag umasa sa anumang artikulo, kasama na ito, kapalit ng orihinal na dokumentasyon.

Paano naiiba ang mga training crawler sa mga answer crawler?

Sa pangkalahatan, may dalawang pangunahing layunin:

  • Pangongolekta ng data para mag-train ng mga model. Nagiging materyal sa pag-aaral ang content para sa mga susunod na bersyon ng isang model.
  • Pagkuha ng mga pahina para sagutin ang isang tanong. Kapag may itinanong ang user, hinahanap at binabasa ng system ang mga kaugnay na pahina para buuin ang sagot nito, kadalasang may kasamang mga source.

Mahalaga ang pagkakaibang ito kapag gumagawa kayo ng desisyon. Ang pangkalahatang patakaran laban sa lahat ng AI crawler ay maaaring di-sinasadyang mag-alis sa isang website mula sa mga retrieval-based na sagot, kahit ang talagang gusto lang ng negosyo ay limitahan ang paggamit ng content nito para sa training. Kung aling mga uri ang papayagan o haharangan ay sariling desisyon sa negosyo ng bawat organisasyon; ang dapat iwasan ay ang pagharang nang hindi alam kung ano ang hinaharangan.

Ano ang kaya at hindi kaya ng robots.txt?

  • Kahilingan ito, hindi mekanismo ng pagpapatupad. Sinusunod ito ng mga maayos na crawler; hindi teknikal na pinipigilan ng file ang pag-access. Dapat nasa likod ng login o access control ang content na kailangang protektahan.
  • Ang pinayagan ay hindi nangangahulugang gagamitin. Paunang kondisyon lang ang pagbubukas ng pinto sa mga crawler. Kung mapipili ang content ay nakadepende pa rin sa kalidad at kaugnayan nito. Tingnan ang kung paano pumipili ng source ang AI.
  • Hindi lang ito ang hadlang. Maaari ring harangan ng firewall, bot-protection service o server configuration ang mga AI crawler kahit pinapayagan sila ng robots.txt.

Ano ang llms.txt?

Ang llms.txt ay isang iminumungkahing convention: maglagay ng Markdown file sa root ng website na nagbubuod sa site para sa mga language model. Karaniwan itong naglalaman ng pangalan ng site, maikling pagpapakilala at listahan ng mga link sa pinakamahahalagang pahina, bawat isa ay may maikling paglalarawan. Ang ideya ay bigyan ang model ng siksik at madaling basahing mapa sa halip na hayaan itong suriin nang mag-isa ang buong istruktura ng site.

Ano ang hindi llms.txt?

  • Hindi opisyal na pamantayan. Sa ngayon, mungkahi pa lamang ito.
  • Hindi suportado ng lahat ng AI provider. Iba-iba ang pag-adopt dito, at hindi ninyo dapat ipagpalagay na babasahin ng anumang partikular na AI assistant ang file.
  • Hindi garantiya. Ang pagkakaroon ng llms.txt ay hindi nangangahulugang mas madalas kayong ma-cite o mabanggit.
  • Hindi pamalit sa robots.txt. Hindi kinokontrol ng llms.txt ang access ng mga crawler.
  • Hindi pamalit sa mahusay na content. Hindi mapupunan ng maayos na buod ang mga pahinang kulang sa tiyak na impormasyon.

Dapat ba kayong gumawa ng llms.txt?

Maaari, basta ituring ninyo itong maliit at opsyonal na gawain. Mababa ang gastos: isang text file, na ina-update kapag nagbago ang istruktura ng site. Kung gagawin ninyo ito, panatilihing maikli at tumpak ang file, mag-link lang sa mga canonical na pahina, at tiyaking tugma ito sa talagang nasa website. Huwag asahang ang file na ito lang ang magdudulot ng nasusukat na pagbabago, at huwag itong unahin kaysa sa mas pundamental na trabaho.

Ano ang dapat ninyong i-check muna?

  1. Buksan ang robots.txt at hanapin ang mga patakarang di-sinasadyang humaharang sa mga AI crawler.
  2. Magpasya ng patakaran para sa bawat uri ng crawler batay sa dokumentasyon ng mga provider.
  3. I-check ang inyong firewall at bot-protection settings.
  4. Tiyaking nababasa bilang text ang pangunahing content nang walang login.
  5. Isaalang-alang ang llms.txt kapag tapos na ang mga hakbang sa itaas.
  6. Pana-panahong suriin muli.

Unang layer lang ang accessibility. Para tama ang pagkaunawa ng AI sa isang brand at may dahilan itong i-cite ito, kailangan din ng brand ng pundasyon ng entity, content na madaling i-cite at presensya sa maraming source. Maaari ninyong basahin ang tungkol sa G.E.O framework o sa serbisyong Entity & Schema ng GEONGON.

Mga kaugnay na artikulo

Nasaan ang inyong brand sa mga sagot ng AI ngayon?

Magsimula sa isang usapan at sa unang pagsilip kung gaano kakita ang inyong brand sa iba't ibang AI platform.

Kumuha ng AI Visibility audit