robots.txt គឺជាឯកសារដែលគេហទំព័រប្រើដើម្បីប្រាប់ crawler រួមទាំង crawler របស់ក្រុមហ៊ុន AI ថាផ្នែកណាខ្លះនៃគេហទំព័រដែលពួកវាអាចចូលដំណើរការបាន។ llms.txt គឺជាអនុសញ្ញាដែលត្រូវបានស្នើឡើង៖ ឯកសារ Markdown នៅឫស (root) នៃគេហទំព័រ ដែលសង្ខេបគេហទំព័រសម្រាប់ម៉ូដែលភាសា។ គ្មានមួយណាធានាថាម៉ាកយីហោនឹងលេចឡើងក្នុងចម្លើយរបស់ AI ទេ៖ robots.txt គឺជាសំណើដែល crawler ដែលប្រព្រឹត្តល្អគោរពតាម ហើយ llms.txt មិនមែនជាស្តង់ដារផ្លូវការទេ ដោយការគាំទ្រខុសគ្នាពីអ្នកផ្តល់សេវាមួយទៅអ្នកផ្តល់សេវាមួយ។
ចំណុចសំខាន់ៗ
- robots.txt ប្រាប់ថា crawler ណាខ្លះត្រូវបានអនុញ្ញាតឱ្យចូល។ ការរារាំង AI crawler ដោយអចេតនា អាចធ្វើឱ្យមាតិការបស់លោកអ្នកមិនត្រូវបានប្រើក្នុងចម្លើយ។
- crawler ខ្លះប្រមូលទិន្នន័យដើម្បីបណ្តុះបណ្តាលម៉ូដែល ខ្លះទៀតទាញយកទំព័រដើម្បីឆ្លើយសំណួររបស់អ្នកប្រើ។ សូមសម្រេចចិត្តលើប្រភេទនីមួយៗដាច់ដោយឡែក។
- llms.txt គឺជាសំណើ៖ ចំណាយតិច ជាជម្រើស និងមិនធានាអ្វីទាំងអស់។
- ឥរិយាបថរបស់ crawler ផ្លាស់ប្តូរតាមពេលវេលា ដូច្នេះសូមពិនិត្យឯកសារផ្លូវការរបស់អ្នកផ្តល់សេវានីមួយៗ។
តើ robots.txt ពាក់ព័ន្ធនឹង AI យ៉ាងដូចម្តេច?
robots.txt ស្ថិតនៅឫសនៃគេហទំព័រ និងមានច្បាប់តាមឈ្មោះ crawler (user agent)៖ crawler ណាអាចចូលបាន និងផ្នែកណាដែលពួកវាគួរជៀសវាង។ ក្រុមហ៊ុន AI ផ្សព្វផ្សាយឈ្មោះដែលពួកគេប្រើ ដើម្បីឱ្យម្ចាស់គេហទំព័រអាចកំណត់ច្បាប់ជាក់លាក់សម្រាប់ពួកវា។ ឈ្មោះមួយចំនួនដែលលោកអ្នកទំនងជានឹងជួប៖
- GPTBot
- OAI-SearchBot
- ChatGPT-User
- ClaudeBot
- PerplexityBot
- Google-Extended
វាក្យសម្ព័ន្ធដូចគ្នានឹងច្បាប់ robots.txt ផ្សេងទៀតដែរ៖
User-agent: <ឈ្មោះ crawler>
Disallow: /folder-ដែលមិនចង់ឱ្យ-crawler-ចូល/
អ្នកផ្តល់សេវានីមួយៗពិពណ៌នាគោលបំណងនៃឈ្មោះនីមួយៗនៅក្នុងឯកសាររបស់ខ្លួន។ បញ្ជី និងឥរិយាបថអាចផ្លាស់ប្តូរ ដូច្នេះកុំពឹងផ្អែកលើអត្ថបទណាមួយ រួមទាំងអត្ថបទនេះ ជំនួសឯកសារដើម។
តើ crawler សម្រាប់បណ្តុះបណ្តាល ខុសពី crawler សម្រាប់ឆ្លើយសំណួរយ៉ាងដូចម្តេច?
ជាទូទៅ មានគោលបំណងចម្បងពីរ៖
- ប្រមូលទិន្នន័យដើម្បីបណ្តុះបណ្តាលម៉ូដែល។ មាតិកាក្លាយជាសម្ភារៈសិក្សាសម្រាប់កំណែក្រោយៗរបស់ម៉ូដែល។
- ទាញយកទំព័រដើម្បីឆ្លើយសំណួរ។ នៅពេលអ្នកប្រើសួរអ្វីមួយ ប្រព័ន្ធស្វែងរក និងអានទំព័រពាក់ព័ន្ធដើម្បីតែងចម្លើយ ដែលច្រើនតែមានភ្ជាប់ប្រភព។
ភាពខុសគ្នានេះសំខាន់នៅពេលលោកអ្នកសម្រេចចិត្ត។ ច្បាប់ទូទៅដែលរារាំង AI crawler ទាំងអស់ អាចដកគេហទំព័រចេញពីចម្លើយដែលផ្អែកលើការទាញយកទំព័រដោយអចេតនា ខណៈដែលអាជីវកម្មគ្រាន់តែចង់កំណត់ការប្រើប្រាស់មាតិការបស់ខ្លួនសម្រាប់ការបណ្តុះបណ្តាលប៉ុណ្ណោះ។ ការអនុញ្ញាត ឬរារាំងប្រភេទណា គឺជាការសម្រេចចិត្តអាជីវកម្មរបស់ស្ថាប័ននីមួយៗ អ្វីដែលត្រូវជៀសវាងគឺការរារាំងដោយមិនដឹងថាកំពុងរារាំងអ្វី។
តើ robots.txt អាចធ្វើអ្វីបាន និងមិនអាចធ្វើអ្វីបាន?
- វាជាសំណើ មិនមែនជាយន្តការបង្ខំទេ។ crawler ដែលប្រព្រឹត្តល្អគោរពតាមវា ប៉ុន្តែឯកសារនេះមិនរារាំងការចូលដំណើរការតាមបច្ចេកទេសទេ។ មាតិកាដែលត្រូវការការពារ គួរតែនៅពីក្រោយការចូលគណនី ឬការគ្រប់គ្រងសិទ្ធិចូលប្រើ។
- ការអនុញ្ញាតមិនមែនមានន័យថានឹងត្រូវបានប្រើទេ។ ការបើកទ្វារឱ្យ crawler គ្រាន់តែជាលក្ខខណ្ឌបឋម។ ថាតើមាតិកាត្រូវបានជ្រើសរើសឬទេ នៅតែអាស្រ័យលើគុណភាព និងភាពពាក់ព័ន្ធរបស់វា។ សូមមើល របៀបដែល AI ជ្រើសរើសប្រភព។
- វាមិនមែនជាឧបសគ្គតែមួយគត់ទេ។ ជញ្ជាំងភ្លើង (firewall) សេវាការពារ bot ឬការកំណត់ម៉ាស៊ីនមេ ក៏អាចរារាំង AI crawler បានដែរ ទោះបីជា robots.txt អនុញ្ញាតក៏ដោយ។
តើ llms.txt ជាអ្វី?
llms.txt គឺជាអនុសញ្ញាដែលត្រូវបានស្នើឡើង៖ ដាក់ឯកសារ Markdown នៅឫសនៃគេហទំព័រ ដែលសង្ខេបគេហទំព័រសម្រាប់ម៉ូដែលភាសា។ ជាធម្មតាវាមានឈ្មោះគេហទំព័រ សេចក្តីណែនាំខ្លី និងបញ្ជីតំណភ្ជាប់ទៅទំព័រសំខាន់ៗបំផុត ដែលនីមួយៗមានការពិពណ៌នាខ្លី។ គំនិតគឺផ្តល់ឱ្យម៉ូដែលនូវផែនទីសង្ខេប និងងាយអាន ជំនួសឱ្យការទុកឱ្យវាស្វែងយល់រចនាសម្ព័ន្ធគេហទំព័រទាំងមូលដោយខ្លួនឯង។
តើ llms.txt មិនមែនជាអ្វី?
- មិនមែនជាស្តង់ដារផ្លូវការទេ។ សម្រាប់ពេលនេះ វាគ្រាន់តែជាសំណើ។
- មិនត្រូវបានគាំទ្រដោយអ្នកផ្តល់សេវា AI ទាំងអស់ទេ។ ការទទួលយកខុសៗគ្នា ហើយលោកអ្នកមិនគួរសន្មតថាជំនួយការ AI ណាមួយនឹងអានឯកសារនេះទេ។
- មិនមែនជាការធានាទេ។ ការមាន llms.txt មិនមានន័យថានឹងត្រូវបានដកស្រង់ ឬលើកឡើងញឹកញាប់ជាងមុនទេ។
- មិនជំនួស robots.txt ទេ។ llms.txt មិនគ្រប់គ្រងការចូលដំណើរការរបស់ crawler ទេ។
- មិនជំនួសមាតិកាល្អទេ។ សេចក្តីសង្ខេបដ៏មានរបៀប មិនអាចបំពេញទំព័រដែលខ្វះព័ត៌មានជាក់លាក់បានទេ។
តើលោកអ្នកគួរបង្កើត llms.txt ដែរឬទេ?
លោកអ្នកអាចបង្កើតបាន ដរាបណាចាត់ទុកវាជាកិច្ចការតូច និងជាជម្រើស។ ចំណាយទាប៖ ឯកសារអត្ថបទមួយ ដែលធ្វើបច្ចុប្បន្នភាពនៅពេលរចនាសម្ព័ន្ធគេហទំព័រផ្លាស់ប្តូរ។ ប្រសិនបើលោកអ្នកធ្វើ សូមរក្សាឯកសារឱ្យខ្លី និងត្រឹមត្រូវ ភ្ជាប់តែទៅទំព័រផ្លូវការ (canonical) និងធានាថាវាស្របនឹងអ្វីដែលពិតជាមាននៅលើគេហទំព័រ។ កុំរំពឹងថាឯកសារនេះតែមួយនឹងបង្កើតការផ្លាស់ប្តូរដែលអាចវាស់វែងបាន ហើយកុំដាក់វាជាអាទិភាពលើសការងារមូលដ្ឋានជាង។
តើលោកអ្នកគួរពិនិត្យអ្វីមុនគេ?
- បើក robots.txt ហើយរកមើលច្បាប់ដែលរារាំង AI crawler ដោយអចេតនា។
- កំណត់គោលនយោបាយសម្រាប់ crawler ប្រភេទនីមួយៗ ដោយផ្អែកលើឯកសាររបស់អ្នកផ្តល់សេវា។
- ពិនិត្យការកំណត់ជញ្ជាំងភ្លើង និងសេវាការពារ bot របស់លោកអ្នក។
- ធានាថាមាតិកាចម្បងអាចអានបានជាអត្ថបទ ដោយមិនចាំបាច់ចូលគណនី។
- ពិចារណាអំពី llms.txt បន្ទាប់ពីជំហានខាងលើរួចរាល់។
- ពិនិត្យឡើងវិញជាប្រចាំ។
លទ្ធភាពចូលដំណើរការគ្រាន់តែជាស្រទាប់ទីមួយ។ ដើម្បីឱ្យ AI យល់អំពីម៉ាកយីហោបានត្រឹមត្រូវ និងមានហេតុផលដើម្បីដកស្រង់វា ម៉ាកយីហោក៏ត្រូវការមូលដ្ឋានគ្រឹះ Entity មាតិកាដែលងាយដកស្រង់ និងវត្តមាននៅលើប្រភពជាច្រើនផងដែរ។ លោកអ្នកអាចអានអំពី ក្របខ័ណ្ឌ G.E.O ឬសេវាកម្ម Entity & Schema របស់ GEONGON។