robots.txt ni faili ambalo tovuti hutumia kuziambia crawlers (programu zinazovinjari kurasa za wavuti), zikiwemo zile zinazoendeshwa na kampuni za AI, ni sehemu zipi za tovuti zinaweza kufikia. llms.txt ni utaratibu uliopendekezwa: faili la Markdown kwenye mzizi wa tovuti linalofupisha tovuti kwa ajili ya miundo ya lugha. Hakuna kati ya hayo mawili kinachohakikisha kuwa chapa itaonekana katika majibu ya AI: robots.txt ni ombi ambalo crawlers zenye nidhamu huliheshimu, na llms.txt si kiwango rasmi, huku uungwaji mkono wake ukitofautiana kati ya mtoa huduma mmoja na mwingine.
Mambo makuu
- robots.txt hueleza ni crawlers zipi zimekaribishwa. Kuzuia crawlers za AI kimakosa kunaweza kuzuia maudhui yako yasitumike katika majibu.
- Baadhi ya crawlers hukusanya data ili kufunza miundo; nyingine huchota kurasa ili kujibu swali la mtumiaji. Amua kuhusu kila aina kando.
- llms.txt ni pendekezo: gharama yake ni ndogo, ni la hiari, na halihakikishi chochote.
- Tabia ya crawlers hubadilika kadri muda unavyokwenda, kwa hiyo kagua nyaraka rasmi za kila mtoa huduma.
robots.txt inahusiana vipi na AI?
robots.txt hukaa kwenye mzizi wa tovuti na huwa na kanuni kulingana na jina la crawler (user agent): crawlers zipi zinaweza kuingia, na sehemu zipi zinapaswa kuziepuka. Kampuni za AI huchapisha majina wanayoyatumia ili wamiliki wa tovuti waweze kuweka kanuni mahususi kwa ajili yao. Baadhi unayoweza kukutana nayo:
- GPTBot
- OAI-SearchBot
- ChatGPT-User
- ClaudeBot
- PerplexityBot
- Google-Extended
Sintaksia ni ileile kama kwa kanuni nyingine yoyote ya robots.txt:
User-agent: <jina la crawler>
Disallow: /folda-unayotaka-crawlers-ziruke/
Kila mtoa huduma huelezea kila jina linatumika kwa ajili gani katika nyaraka zake. Orodha na tabia zinaweza kubadilika, kwa hiyo usitegemee makala yoyote, ikiwemo hii, badala ya nyaraka asilia.
Crawlers za mafunzo zinatofautianaje na crawlers za majibu?
Kwa ujumla, kuna malengo makuu mawili:
- Kukusanya data ya kufunza miundo. Maudhui huwa nyenzo ya kujifunzia kwa matoleo ya baadaye ya muundo.
- Kuchota kurasa ili kujibu swali. Mtumiaji anapouliza kitu, mfumo hutafuta na kusoma kurasa husika ili kuunda jibu lake, mara nyingi pamoja na vyanzo.
Tofauti hii ni muhimu unapofanya maamuzi. Kanuni ya jumla dhidi ya crawlers zote za AI inaweza bila kukusudia kuiondoa tovuti kwenye majibu yanayotegemea uchotaji wa kurasa, ilhali biashara ilichotaka kweli ni kupunguza matumizi ya maudhui yake kwa mafunzo tu. Aina zipi ziruhusiwe au zizuiwe ni uamuzi wa kibiashara wa kila taasisi; kinachopaswa kuepukwa ni kuzuia bila kujua unazuia nini.
robots.txt inaweza kufanya nini, na haiwezi kufanya nini?
- Ni ombi, si utaratibu wa kulazimisha. Crawlers zenye nidhamu huliheshimu; faili hili halizuii ufikiaji kiufundi. Maudhui yanayohitaji kulindwa yanapaswa kuwa nyuma ya kuingia kwenye akaunti au vidhibiti vya ufikiaji.
- Kuruhusiwa haimaanishi kutumika. Kufungua mlango kwa crawlers ni sharti la awali tu. Iwapo maudhui yatachaguliwa bado kunategemea ubora na umuhimu wake. Tazama jinsi AI inavyochagua vyanzo vyake.
- Si kizuizi pekee. Firewall, huduma ya kulinda dhidi ya bots au usanidi wa seva vinaweza pia kuzuia crawlers za AI hata pale robots.txt inaporuhusu.
llms.txt ni nini?
llms.txt ni utaratibu uliopendekezwa: kuweka faili la Markdown kwenye mzizi wa tovuti linalofupisha tovuti kwa ajili ya miundo ya lugha. Kwa kawaida huwa na jina la tovuti, utangulizi mfupi na orodha ya viungo vya kurasa muhimu zaidi, kila kimoja kikiwa na maelezo mafupi. Wazo ni kuupa muundo ramani fupi inayosomeka badala ya kuuachia upitie muundo mzima wa tovuti wenyewe.
llms.txt si nini?
- Si kiwango rasmi. Kwa sasa ni pendekezo.
- Haiungwi mkono na kila mtoa huduma wa AI. Matumizi yake yanatofautiana, na hupaswi kudhani kuwa msaidizi fulani wa AI atasoma faili hilo.
- Si hakikisho. Kuwa na llms.txt hakumaanishi kunukuliwa au kutajwa mara nyingi zaidi.
- Si mbadala wa robots.txt. llms.txt haidhibiti ufikiaji wa crawlers.
- Si mbadala wa maudhui mazuri. Muhtasari nadhifu hauwezi kufidia kurasa zisizo na taarifa mahususi.
Je, unapaswa kuunda llms.txt?
Unaweza, mradi unalichukulia kama kazi ndogo ya hiari. Gharama ni ndogo: faili moja la maandishi, linalosasishwa muundo wa tovuti unapobadilika. Ukiamua kulifanya, liweke fupi na sahihi, weka viungo vya kurasa rasmi (canonical) pekee, na hakikisha linawiana na kilichopo kweli kwenye tovuti. Usitarajie faili hili peke yake kuleta mabadiliko yanayopimika, na usilitangulize mbele ya kazi za msingi zaidi.
Unapaswa kukagua nini kwanza?
- Fungua robots.txt na utafute kanuni zinazozuia crawlers za AI bila kukusudia.
- Amua sera kwa kila aina ya crawler kulingana na nyaraka za watoa huduma.
- Kagua mipangilio ya firewall na ya ulinzi dhidi ya bots.
- Hakikisha maudhui makuu yanasomeka kama maandishi bila kuingia kwenye akaunti.
- Fikiria llms.txt baada ya hatua zilizo hapo juu kukamilika.
- Pitia upya mara kwa mara.
Ufikikaji ni tabaka la kwanza tu. Ili AI iielewe chapa kwa usahihi na iwe na sababu ya kuinukuu, chapa pia inahitaji msingi wa entity, maudhui yanayonukulika na uwepo katika vyanzo vingi. Unaweza kusoma kuhusu mfumo wa G.E.O au huduma ya Entity & Schema ya GEONGON.