robots.txt သည် AI ကုမ္ပဏီများ လည်ပတ်သော crawler များ အပါအဝင် crawler များကို ဆိုက်၏ မည်သည့်အပိုင်းများသို့ ဝင်ရောက်ခွင့် ရှိသည်ကို ဝက်ဘ်ဆိုက်တစ်ခုက ပြောပြရန် အသုံးပြုသော ဖိုင် ဖြစ်ပါသည်။ llms.txt သည် အဆိုပြုထားသော စံကျင့်ဝတ် တစ်ခု ဖြစ်ပြီး ဘာသာစကား မော်ဒယ်များအတွက် ဆိုက်ကို အနှစ်ချုပ်ပေးသည့် ဆိုက်၏ root တွင်ရှိသော Markdown ဖိုင် ဖြစ်ပါသည်။ နှစ်ခုစလုံးသည် ဘရန်းတစ်ခု AI အဖြေများတွင် ပေါ်လာမည်ဟု အာမမခံပါ: robots.txt သည် စည်းကမ်းလိုက်နာသော crawler များက လိုက်နာသည့် တောင်းဆိုချက် ဖြစ်ပြီး llms.txt သည် တရားဝင် စံနှုန်း မဟုတ်ဘဲ ၎င်းကို ထောက်ပံ့မှုသည် ဝန်ဆောင်မှုပေးသူ တစ်ခုနှင့် တစ်ခု ကွဲပြားပါသည်။
အဓိက အချက်များ
- robots.txt က မည်သည့် crawler များကို ဖိတ်ခေါ်ထားသည်ကို ဖော်ပြပါသည်။ AI crawler များကို မှားယွင်း ပိတ်ဆို့ခြင်းသည် သင့်အကြောင်းအရာကို အဖြေများတွင် အသုံးမပြုနိုင်အောင် ဖြစ်စေနိုင်ပါသည်။
- အချို့ crawler များသည် မော်ဒယ်များ လေ့ကျင့်ရန် ဒေတာ စုဆောင်းပြီး အချို့က အသုံးပြုသူ၏ မေးခွန်းကို ဖြေဆိုရန် စာမျက်နှာများကို ရယူပါသည်။ အမျိုးအစား တစ်ခုစီအတွက် သီးခြား ဆုံးဖြတ်ပါ။
- llms.txt သည် အဆိုပြုချက် တစ်ခု ဖြစ်ပါသည်: ကုန်ကျစရိတ် နည်းသည်၊ မဖြစ်မနေ မဟုတ်ပါ၊ မည်သည့်အရာကိုမျှ အာမမခံပါ။
- Crawler အပြုအမူသည် အချိန်နှင့်အမျှ ပြောင်းလဲသဖြင့် ဝန်ဆောင်မှုပေးသူ တစ်ခုစီ၏ တရားဝင် စာရွက်စာတမ်းများကို စစ်ဆေးပါ။
robots.txt သည် AI နှင့် မည်သို့ ဆက်စပ်သနည်း?
robots.txt သည် ဝက်ဘ်ဆိုက်၏ root တွင် တည်ရှိပြီး crawler အမည် (user agent) အလိုက် စည်းမျဉ်းများကို ကိုင်ဆောင်ထားပါသည်: မည်သည့် crawler များ ဝင်ရောက်နိုင်ပြီး မည်သည့် အပိုင်းများကို ရှောင်ကြဉ်သင့်သည်။ AI ကုမ္ပဏီများသည် ဆိုက်ပိုင်ရှင်များက ၎င်းတို့အတွက် သီးသန့် စည်းမျဉ်းများ သတ်မှတ်နိုင်စေရန် ၎င်းတို့ အသုံးပြုသော အမည်များကို ထုတ်ပြန်ပါသည်။ သင် တွေ့ကြုံရနိုင်သော အချို့:
- GPTBot
- OAI-SearchBot
- ChatGPT-User
- ClaudeBot
- PerplexityBot
- Google-Extended
ရေးထုံးသည် အခြား robots.txt စည်းမျဉ်း မည်သည့်အရာနှင့်မဆို အတူတူပင် ဖြစ်ပါသည်:
User-agent: <crawler အမည်>
Disallow: /crawler-များ-ကျော်သွားစေလိုသော-ဖိုင်တွဲ/
ဝန်ဆောင်မှုပေးသူ တစ်ခုစီသည် အမည်တစ်ခုစီ မည်သည့်အတွက် ဖြစ်သည်ကို ၎င်း၏ ကိုယ်ပိုင် စာရွက်စာတမ်းများတွင် ဖော်ပြပါသည်။ စာရင်းနှင့် အပြုအမူ ပြောင်းလဲနိုင်သဖြင့် ဤဆောင်းပါး အပါအဝင် မည်သည့် ဆောင်းပါးကိုမျှ မူရင်း စာရွက်စာတမ်းများအစား အားမကိုးပါနှင့်။
လေ့ကျင့်ရေး crawler များသည် အဖြေရှာ crawler များနှင့် မည်သို့ ကွာခြားသနည်း?
ကျယ်ကျယ်ပြန့်ပြန့် ပြောရလျှင် အဓိက ရည်ရွယ်ချက် နှစ်ခု ရှိပါသည်:
- မော်ဒယ်များ လေ့ကျင့်ရန် ဒေတာ စုဆောင်းခြင်း။ အကြောင်းအရာသည် မော်ဒယ်၏ နောက်ပိုင်း ဗားရှင်းများအတွက် သင်ယူစရာ ပစ္စည်း ဖြစ်လာပါသည်။
- မေးခွန်းကို ဖြေဆိုရန် စာမျက်နှာများ ရယူခြင်း။ အသုံးပြုသူက တစ်စုံတစ်ခု မေးသည့်အခါ စနစ်သည် ၎င်း၏ အဖြေကို ပေါင်းစပ်ရန် သက်ဆိုင်ရာ စာမျက်နှာများကို ရှာဖွေဖတ်ရှုပြီး ရင်းမြစ်များ မကြာခဏ ပူးတွဲပါရှိပါသည်။
ဆုံးဖြတ်ချက်များ ချမှတ်သည့်အခါ ဤခွဲခြားမှုသည် အရေးကြီးပါသည်။ AI crawler အားလုံးကို ပိတ်ဆို့သည့် ယေဘုယျ စည်းမျဉ်းတစ်ခုသည် လုပ်ငန်းက အမှန်တကယ် လိုလားသည်မှာ ၎င်း၏ အကြောင်းအရာကို လေ့ကျင့်ရေးအတွက် အသုံးပြုမှုကို ကန့်သတ်ရန်သာ ဖြစ်သော်လည်း ရှာဖွေရယူမှုအခြေပြု အဖြေများမှ ဝက်ဘ်ဆိုက်ကို မရည်ရွယ်ဘဲ ဖယ်ရှားသွားစေနိုင်ပါသည်။ မည်သည့် အမျိုးအစားကို ခွင့်ပြုမည် သို့မဟုတ် ပိတ်ဆို့မည်ဆိုသည်မှာ အဖွဲ့အစည်း တစ်ခုစီ၏ ကိုယ်ပိုင် လုပ်ငန်း ဆုံးဖြတ်ချက် ဖြစ်ပါသည်၊ ရှောင်ရမည့်အရာမှာ ဘာကို ပိတ်ဆို့နေသည်ကို မသိဘဲ ပိတ်ဆို့ခြင်း ဖြစ်ပါသည်။
robots.txt က ဘာလုပ်နိုင်ပြီး ဘာမလုပ်နိုင်သနည်း?
- ၎င်းသည် တောင်းဆိုချက် ဖြစ်ပြီး အတင်းအကျပ် ကျင့်သုံးသည့် ယန္တရား မဟုတ်ပါ။ စည်းကမ်းလိုက်နာသော crawler များက လိုက်နာပြီး ဖိုင်သည် ဝင်ရောက်မှုကို နည်းပညာအရ မတားဆီးပါ။ ကာကွယ်ရန် လိုအပ်သော အကြောင်းအရာကို login သို့မဟုတ် ဝင်ရောက်ခွင့် ထိန်းချုပ်မှုများ နောက်တွင် ထားသင့်ပါသည်။
- ခွင့်ပြုခြင်းသည် အသုံးပြုခံရခြင်း မဟုတ်ပါ။ Crawler များအတွက် တံခါးဖွင့်ပေးခြင်းသည် ကြိုတင်လိုအပ်ချက် တစ်ခုသာ ဖြစ်ပါသည်။ အကြောင်းအရာ ရွေးချယ်ခံရခြင်း ရှိမရှိသည် ၎င်း၏ အရည်အသွေးနှင့် သက်ဆိုင်မှုအပေါ် မူတည်နေဆဲ ဖြစ်ပါသည်။ AI က ၎င်း၏ ရင်းမြစ်များကို မည်သို့ ရွေးချယ်သည် ကို ကြည့်ပါ။
- ၎င်းသည် တစ်ခုတည်းသော အတားအဆီး မဟုတ်ပါ။ Firewall၊ bot ကာကွယ်ရေး ဝန်ဆောင်မှု သို့မဟုတ် server ဆက်တင်များသည် robots.txt က ခွင့်ပြုထားသည့်တိုင် AI crawler များကို ပိတ်ဆို့နိုင်ပါသည်။
llms.txt ဆိုသည်မှာ မည်သည့်အရာ ဖြစ်သနည်း?
llms.txt သည် အဆိုပြုထားသော စံကျင့်ဝတ် တစ်ခု ဖြစ်ပါသည်: ဘာသာစကား မော်ဒယ်များအတွက် ဆိုက်ကို အနှစ်ချုပ်ပေးသည့် Markdown ဖိုင်တစ်ခုကို ဝက်ဘ်ဆိုက်၏ root တွင် ထားရှိခြင်း။ ယင်းတွင် များသောအားဖြင့် ဆိုက်အမည်၊ တိုတောင်းသော မိတ်ဆက်ချက်နှင့် အရေးအကြီးဆုံး စာမျက်နှာများသို့ လင့်ခ်စာရင်း ပါဝင်ပြီး လင့်ခ်တစ်ခုစီတွင် အတိုချုပ် ဖော်ပြချက် ပါရှိပါသည်။ စိတ်ကူးမှာ မော်ဒယ်တစ်ခုအား ဆိုက်ဖွဲ့စည်းပုံ အပြည့်အစုံကို ကိုယ်တိုင် ရှာဖွေသွားလာစေမည့်အစား ကျစ်လျစ်ပြီး ဖတ်ရလွယ်ကူသော မြေပုံတစ်ခုကို ပေးအပ်ရန် ဖြစ်ပါသည်။
llms.txt သည် မည်သည့်အရာ မဟုတ်သနည်း?
- တရားဝင် စံနှုန်း မဟုတ်ပါ။ လောလောဆယ် ၎င်းသည် အဆိုပြုချက် တစ်ခု ဖြစ်ပါသည်။
- AI ဝန်ဆောင်မှုပေးသူ အားလုံးက ထောက်ပံ့ခြင်း မရှိပါ။ လက်ခံကျင့်သုံးမှု ကွဲပြားပြီး မည်သည့် AI လက်ထောက်ကမဆို ဖိုင်ကို ဖတ်မည်ဟု ယူဆမထားသင့်ပါ။
- အာမခံချက် မဟုတ်ပါ။ llms.txt ရှိခြင်းသည် ပိုမို မကြာခဏ ကိုးကားခံရခြင်း သို့မဟုတ် ဖော်ပြခံရခြင်းကို ဆိုလိုခြင်း မဟုတ်ပါ။
- robots.txt ၏ အစားထိုး မဟုတ်ပါ။ llms.txt သည် crawler ဝင်ရောက်မှုကို မထိန်းချုပ်ပါ။
- ကောင်းမွန်သော အကြောင်းအရာ၏ အစားထိုး မဟုတ်ပါ။ သပ်ရပ်သော အနှစ်ချုပ်သည် တိကျသော အချက်အလက် ကင်းမဲ့သည့် စာမျက်နှာများကို အစားမထိုးနိုင်ပါ။
llms.txt ကို ဖန်တီးသင့်ပါသလား?
၎င်းကို သေးငယ်ပြီး မဖြစ်မနေ မဟုတ်သော လုပ်ငန်းတစ်ခုအဖြစ် သဘောထားသရွေ့ ဖန်တီးနိုင်ပါသည်။ ကုန်ကျစရိတ် နည်းပါသည်: ဆိုက်ဖွဲ့စည်းပုံ ပြောင်းလဲသည့်အခါ အပ်ဒိတ်လုပ်ရမည့် စာသားဖိုင် တစ်ခု ဖြစ်ပါသည်။ ပြုလုပ်ပါက ဖိုင်ကို တိုတောင်းပြီး တိကျစွာ ထားပါ၊ canonical စာမျက်နှာများသို့သာ လင့်ခ်ချိတ်ပါ၊ ဝက်ဘ်ဆိုက်ပေါ်တွင် အမှန်တကယ် ရှိသည့်အရာနှင့် ကိုက်ညီနေစေရန် သေချာပါစေ။ ဤဖိုင် တစ်ခုတည်းက တိုင်းတာနိုင်သော ပြောင်းလဲမှုကို ဖြစ်စေမည်ဟု မမျှော်လင့်ပါနှင့်၊ ပိုမို အခြေခံကျသော လုပ်ငန်းများထက်လည်း ဦးစားမပေးပါနှင့်။
ဦးစွာ မည်သည့်အရာကို စစ်ဆေးသင့်သနည်း?
- robots.txt ကို ဖွင့်ပြီး AI crawler များကို မရည်ရွယ်ဘဲ ပိတ်ဆို့ထားသော စည်းမျဉ်းများကို ရှာပါ။
- ဝန်ဆောင်မှုပေးသူများ၏ စာရွက်စာတမ်းများကို အခြေခံ၍ crawler အမျိုးအစား တစ်ခုစီအတွက် မူဝါဒကို ဆုံးဖြတ်ပါ။
- သင့် firewall နှင့် bot ကာကွယ်ရေး ဆက်တင်များကို စစ်ဆေးပါ။
- အဓိက အကြောင်းအရာကို login မလိုဘဲ စာသားအဖြစ် ဖတ်ရှုနိုင်ကြောင်း သေချာပါစေ။
- အထက်ပါ အဆင့်များ ပြီးဆုံးသည်နှင့် llms.txt ကို ထည့်သွင်းစဉ်းစားပါ။
- ကာလအလိုက် ပြန်လည်သုံးသပ်ပါ။
ဝင်ရောက်နိုင်မှုသည် ပထမ အလွှာသာ ဖြစ်ပါသည်။ AI က ဘရန်းကို မှန်ကန်စွာ နားလည်ပြီး ၎င်းကို ကိုးကားရန် အကြောင်းပြချက် ရှိစေရန် ဘရန်းတွင် entity အခြေခံ၊ ကိုးကားထိုက်သော အကြောင်းအရာနှင့် ရင်းမြစ်များစွာတွင် ရှိနေမှုလည်း လိုအပ်ပါသည်။ G.E.O မူဘောင် သို့မဟုတ် GEONGON ၏ Entity & Schema ဝန်ဆောင်မှုအကြောင်း ဖတ်ရှုနိုင်ပါသည်။