robots.txt ແມ່ນໄຟລ໌ທີ່ເວັບໄຊໃຊ້ບອກ crawler, ລວມທັງ crawler ຂອງບໍລິສັດ AI, ວ່າສ່ວນໃດຂອງເວັບໄຊທີ່ພວກມັນເຂົ້າເຖິງໄດ້. llms.txt ແມ່ນຂໍ້ຕົກລົງທີ່ຖືກສະເໜີ: ໄຟລ໌ Markdown ຢູ່ທີ່ຮາກຂອງເວັບໄຊ ທີ່ສະຫຼຸບເວັບໄຊສຳລັບໂມເດລພາສາ. ທັງສອງບໍ່ໄດ້ຮັບປະກັນວ່າແບຣນຈະປາກົດໃນຄຳຕອບຂອງ AI: robots.txt ເປັນຄຳຮ້ອງຂໍທີ່ crawler ທີ່ປະພຶດດີປະຕິບັດຕາມ, ແລະ llms.txt ບໍ່ແມ່ນມາດຕະຖານທາງການ, ໂດຍການຮອງຮັບແຕກຕ່າງກັນໄປຕາມແຕ່ລະຜູ້ໃຫ້ບໍລິການ.
ປະເດັນສຳຄັນ
- robots.txt ບອກວ່າ crawler ໃດຖືກເຊີນເຂົ້າມາ. ການບລັອກ AI crawler ໂດຍຜິດພາດອາດເຮັດໃຫ້ເນື້ອຫາຂອງທ່ານບໍ່ຖືກນຳໃຊ້ໃນຄຳຕອບ.
- ບາງ crawler ເກັບກຳຂໍ້ມູນເພື່ອຝຶກໂມເດລ; ບາງອັນດຶງໜ້າເວັບເພື່ອຕອບຄຳຖາມຂອງຜູ້ໃຊ້. ຕັດສິນໃຈແຍກກັນສຳລັບແຕ່ລະປະເພດ.
- llms.txt ແມ່ນຂໍ້ສະເໜີ: ຕົ້ນທຶນຕ່ຳ, ບໍ່ບັງຄັບ ແລະ ບໍ່ຮັບປະກັນຫຍັງ.
- ພຶດຕິກຳຂອງ crawler ປ່ຽນແປງໄປຕາມເວລາ, ສະນັ້ນໃຫ້ກວດສອບເອກະສານທາງການຂອງແຕ່ລະຜູ້ໃຫ້ບໍລິການ.
robots.txt ກ່ຽວຂ້ອງກັບ AI ແນວໃດ?
robots.txt ຢູ່ທີ່ຮາກຂອງເວັບໄຊ ແລະ ບັນຈຸກົດຕາມຊື່ crawler (user agent): crawler ໃດເຂົ້າມາໄດ້ ແລະ ພາກສ່ວນໃດທີ່ພວກມັນຄວນຫຼີກລ່ຽງ. ບໍລິສັດ AI ເຜີຍແຜ່ຊື່ທີ່ພວກເຂົາໃຊ້ ເພື່ອໃຫ້ເຈົ້າຂອງເວັບໄຊຕັ້ງກົດສະເພາະສຳລັບພວກມັນໄດ້. ບາງຊື່ທີ່ທ່ານອາດພົບ:
- GPTBot
- OAI-SearchBot
- ChatGPT-User
- ClaudeBot
- PerplexityBot
- Google-Extended
ໄວຍາກອນແມ່ນຄືກັນກັບກົດອື່ນໆໃນ robots.txt:
User-agent: <ຊື່ crawler>
Disallow: /ໂຟນເດີທີ່ຕ້ອງການໃຫ້-crawler-ຂ້າມ/
ແຕ່ລະຜູ້ໃຫ້ບໍລິການອະທິບາຍວ່າແຕ່ລະຊື່ໃຊ້ເພື່ອຫຍັງໃນເອກະສານຂອງຕົນເອງ. ລາຍຊື່ ແລະ ພຶດຕິກຳອາດປ່ຽນແປງ, ສະນັ້ນຢ່າອີງໃສ່ບົດຄວາມໃດ, ລວມທັງບົດຄວາມນີ້, ແທນເອກະສານຕົ້ນສະບັບ.
crawler ເພື່ອການຝຶກ ແຕກຕ່າງຈາກ crawler ເພື່ອຕອບຄຳຖາມແນວໃດ?
ໂດຍກວ້າງໆ, ມີສອງຈຸດປະສົງຫຼັກ:
- ເກັບກຳຂໍ້ມູນເພື່ອຝຶກໂມເດລ. ເນື້ອຫາກາຍເປັນວັດຖຸດິບໃນການຮຽນຮູ້ສຳລັບໂມເດລເວີຊັນຕໍ່ໄປ.
- ດຶງໜ້າເວັບເພື່ອຕອບຄຳຖາມ. ເມື່ອຜູ້ໃຊ້ຖາມບາງສິ່ງ, ລະບົບຈະຊອກຫາ ແລະ ອ່ານໜ້າທີ່ກ່ຽວຂ້ອງເພື່ອຮຽບຮຽງຄຳຕອບ, ເຊິ່ງມັກມີແຫຼ່ງອ້າງອີງແນບມານຳ.
ຄວາມແຕກຕ່າງນີ້ສຳຄັນເມື່ອທ່ານຕັດສິນໃຈ. ກົດແບບເໝົາລວມທີ່ຫ້າມ AI crawler ທັງໝົດ ອາດເຮັດໃຫ້ເວັບໄຊຫາຍໄປຈາກຄຳຕອບທີ່ອີງໃສ່ການດຶງຂໍ້ມູນໂດຍບໍ່ຕັ້ງໃຈ, ໃນຂະນະທີ່ສິ່ງທີ່ທຸລະກິດຕ້ອງການແທ້ໆ ມີພຽງແຕ່ການຈຳກັດການນຳເນື້ອຫາໄປໃຊ້ຝຶກ. ຈະອະນຸຍາດ ຫຼື ບລັອກປະເພດໃດ ແມ່ນການຕັດສິນໃຈທາງທຸລະກິດຂອງແຕ່ລະອົງກອນ; ສິ່ງທີ່ຄວນຫຼີກລ່ຽງແມ່ນການບລັອກໂດຍບໍ່ຮູ້ວ່າກຳລັງບລັອກຫຍັງ.
robots.txt ເຮັດຫຍັງໄດ້ ແລະ ເຮັດຫຍັງບໍ່ໄດ້?
- ມັນເປັນຄຳຮ້ອງຂໍ, ບໍ່ແມ່ນກົນໄກບັງຄັບ. crawler ທີ່ປະພຶດດີປະຕິບັດຕາມ; ໄຟລ໌ນີ້ບໍ່ໄດ້ປ້ອງກັນການເຂົ້າເຖິງທາງເຕັກນິກ. ເນື້ອຫາທີ່ຕ້ອງການປົກປ້ອງຄວນຢູ່ຫຼັງການເຂົ້າສູ່ລະບົບ ຫຼື ການຄວບຄຸມການເຂົ້າເຖິງ.
- ອະນຸຍາດ ບໍ່ໄດ້ໝາຍຄວາມວ່າຖືກນຳໃຊ້. ການເປີດປະຕູໃຫ້ crawler ເປັນພຽງເງື່ອນໄຂເບື້ອງຕົ້ນ. ເນື້ອຫາຈະຖືກເລືອກຫຼືບໍ່ ຍັງຂຶ້ນກັບຄຸນນະພາບ ແລະ ຄວາມກ່ຽວຂ້ອງ. ເບິ່ງ AI ເລືອກແຫຼ່ງຂໍ້ມູນແນວໃດ.
- ມັນບໍ່ແມ່ນສິ່ງກີດຂວາງດຽວ. Firewall, ບໍລິການປ້ອງກັນບອດ ຫຼື ການຕັ້ງຄ່າເຊີບເວີ ກໍສາມາດບລັອກ AI crawler ໄດ້ ເຖິງແມ່ນວ່າ robots.txt ຈະອະນຸຍາດກໍຕາມ.
llms.txt ແມ່ນຫຍັງ?
llms.txt ແມ່ນຂໍ້ຕົກລົງທີ່ຖືກສະເໜີ: ວາງໄຟລ໌ Markdown ໄວ້ທີ່ຮາກຂອງເວັບໄຊ ເພື່ອສະຫຼຸບເວັບໄຊສຳລັບໂມເດລພາສາ. ໂດຍປົກກະຕິມັນມີຊື່ເວັບໄຊ, ຄຳແນະນຳສັ້ນໆ ແລະ ລາຍການລິ້ງໄປຫາໜ້າທີ່ສຳຄັນທີ່ສຸດ, ແຕ່ລະລິ້ງມີຄຳອະທິບາຍສັ້ນໆ. ແນວຄິດແມ່ນເພື່ອມອບແຜນທີ່ທີ່ກະທັດຮັດ ແລະ ອ່ານງ່າຍໃຫ້ໂມເດລ ແທນທີ່ຈະປ່ອຍໃຫ້ມັນຊອກຫາທາງຜ່ານໂຄງສ້າງເວັບໄຊທັງໝົດດ້ວຍຕົວເອງ.
llms.txt ບໍ່ແມ່ນຫຍັງ?
- ບໍ່ແມ່ນມາດຕະຖານທາງການ. ໃນຕອນນີ້ມັນເປັນພຽງຂໍ້ສະເໜີ.
- ບໍ່ໄດ້ຮັບການຮອງຮັບຈາກຜູ້ໃຫ້ບໍລິການ AI ທຸກລາຍ. ການນຳໃຊ້ແຕກຕ່າງກັນ, ແລະ ທ່ານບໍ່ຄວນສັນນິຖານວ່າຜູ້ຊ່ວຍ AI ໃດໜຶ່ງຈະອ່ານໄຟລ໌ນີ້.
- ບໍ່ແມ່ນການຮັບປະກັນ. ການມີ llms.txt ບໍ່ໄດ້ໝາຍຄວາມວ່າຈະຖືກອ້າງອີງ ຫຼື ຖືກກ່າວເຖິງເລື້ອຍຂຶ້ນ.
- ບໍ່ໄດ້ມາແທນ robots.txt. llms.txt ບໍ່ໄດ້ຄວບຄຸມການເຂົ້າເຖິງຂອງ crawler.
- ບໍ່ໄດ້ມາແທນເນື້ອຫາທີ່ດີ. ບົດສະຫຼຸບທີ່ເປັນລະບຽບບໍ່ສາມາດທົດແທນໜ້າທີ່ຂາດຂໍ້ມູນສະເພາະເຈາະຈົງໄດ້.
ທ່ານຄວນສ້າງ llms.txt ບໍ່?
ໄດ້, ຕາບໃດທີ່ທ່ານຖືວ່າມັນເປັນວຽກນ້ອຍ ແລະ ບໍ່ບັງຄັບ. ຕົ້ນທຶນຕ່ຳ: ໄຟລ໌ຂໍ້ຄວາມໜຶ່ງໄຟລ໌, ອັບເດດເມື່ອໂຄງສ້າງເວັບໄຊປ່ຽນແປງ. ຖ້າທ່ານເຮັດ, ໃຫ້ຮັກສາໄຟລ໌ໃຫ້ສັ້ນ ແລະ ຖືກຕ້ອງ, ລິ້ງໄປຫາໜ້າຫຼັກ (canonical) ເທົ່ານັ້ນ, ແລະ ໃຫ້ແນ່ໃຈວ່າມັນສອດຄ່ອງກັບສິ່ງທີ່ມີຢູ່ແທ້ໃນເວັບໄຊ. ຢ່າຄາດຫວັງວ່າໄຟລ໌ນີ້ໄຟລ໌ດຽວຈະສ້າງການປ່ຽນແປງທີ່ວັດແທກໄດ້, ແລະ ຢ່າໃຫ້ຄວາມສຳຄັນກັບມັນກ່ອນວຽກທີ່ເປັນພື້ນຖານກວ່າ.
ທ່ານຄວນກວດສອບຫຍັງກ່ອນ?
- ເປີດ robots.txt ແລະ ຊອກຫາກົດທີ່ບລັອກ AI crawler ໂດຍບໍ່ຕັ້ງໃຈ.
- ກຳນົດນະໂຍບາຍສຳລັບ crawler ແຕ່ລະປະເພດ ໂດຍອີງໃສ່ເອກະສານຂອງຜູ້ໃຫ້ບໍລິການ.
- ກວດສອບການຕັ້ງຄ່າ firewall ແລະ ການປ້ອງກັນບອດຂອງທ່ານ.
- ໃຫ້ແນ່ໃຈວ່າເນື້ອຫາຫຼັກອ່ານໄດ້ເປັນຂໍ້ຄວາມ ໂດຍບໍ່ຕ້ອງເຂົ້າສູ່ລະບົບ.
- ພິຈາລະນາ llms.txt ເມື່ອເຮັດຂັ້ນຕອນຂ້າງເທິງແລ້ວ.
- ທົບທວນເປັນໄລຍະ.
ການເຂົ້າເຖິງໄດ້ເປັນພຽງຊັ້ນທຳອິດ. ເພື່ອໃຫ້ AI ເຂົ້າໃຈແບຣນຢ່າງຖືກຕ້ອງ ແລະ ມີເຫດຜົນທີ່ຈະອ້າງອີງ, ແບຣນຍັງຕ້ອງມີພື້ນຖານ entity, ເນື້ອຫາທີ່ຄວນອ້າງອີງ ແລະ ການປາກົດຕົວໃນຫຼາຍແຫຼ່ງ. ທ່ານສາມາດອ່ານກ່ຽວກັບ ກອບວຽກ G.E.O ຫຼື ບໍລິການ Entity & Schema ຂອງ GEONGON.