robots.txt คือไฟล์ที่เว็บไซต์ใช้บอก crawler รวมถึง crawler ของบริษัท AI ว่าเข้าถึงส่วนใดของเว็บไซต์ได้บ้าง ส่วน llms.txt เป็นข้อตกลงที่ถูกเสนอขึ้น คือไฟล์ Markdown ที่วางไว้ที่ root ของเว็บไซต์เพื่อสรุปเว็บไซต์ให้โมเดลภาษา ทั้งสองอย่างไม่ได้รับประกันว่าแบรนด์จะปรากฏในคำตอบของ AI เพราะ robots.txt เป็นคำขอที่ crawler ซึ่งปฏิบัติตามกติกาจะยึดถือ ส่วน llms.txt ไม่ใช่มาตรฐานอย่างเป็นทางการ และการรองรับแตกต่างกันไปในแต่ละผู้ให้บริการ
ประเด็นสำคัญ
- robots.txt ระบุว่า crawler ใดได้รับเชิญให้เข้ามา การบล็อก AI crawler โดยไม่ตั้งใจอาจทำให้คอนเทนต์ของคุณไม่ถูกนำไปใช้ในคำตอบ
- crawler บางตัวเก็บข้อมูลเพื่อเทรนโมเดล บางตัวดึงหน้าเว็บเพื่อตอบคำถามของผู้ใช้ ควรตัดสินใจแยกกันสำหรับแต่ละประเภท
- llms.txt เป็นข้อเสนอที่ใช้ต้นทุนต่ำ ไม่บังคับ และไม่ได้รับประกันสิ่งใด
- พฤติกรรมของ crawler เปลี่ยนไปตามเวลา จึงควรตรวจสอบเอกสารทางการของผู้ให้บริการแต่ละราย
robots.txt เกี่ยวข้องกับ AI อย่างไร?
robots.txt อยู่ที่ root ของเว็บไซต์ และเก็บกฎตามชื่อ crawler (user agent) ว่า crawler ใดเข้ามาได้ และส่วนใดที่ควรหลีกเลี่ยง บริษัท AI เผยแพร่ชื่อที่ใช้ เพื่อให้เจ้าของเว็บไซต์ตั้งกฎเฉพาะสำหรับ crawler เหล่านั้นได้ ตัวอย่างที่คุณน่าจะพบ:
- GPTBot
- OAI-SearchBot
- ChatGPT-User
- ClaudeBot
- PerplexityBot
- Google-Extended
ไวยากรณ์เหมือนกับกฎอื่น ๆ ใน robots.txt:
User-agent: <crawler name>
Disallow: /a-folder-you-want-crawlers-to-skip/
ผู้ให้บริการแต่ละรายอธิบายไว้ในเอกสารของตนเองว่าแต่ละชื่อใช้ทำอะไร รายชื่อและพฤติกรรมอาจเปลี่ยนแปลงได้ จึงไม่ควรใช้บทความใด รวมถึงบทความนี้ แทนเอกสารต้นฉบับ
crawler สำหรับเทรนโมเดลต่างจาก crawler สำหรับตอบคำถามอย่างไร?
โดยภาพรวม มีจุดประสงค์หลักสองแบบ:
- เก็บข้อมูลเพื่อเทรนโมเดล คอนเทนต์จะกลายเป็นข้อมูลการเรียนรู้สำหรับโมเดลเวอร์ชันถัดไป
- ดึงหน้าเว็บเพื่อตอบคำถาม เมื่อผู้ใช้ถามบางอย่าง ระบบจะค้นหาและอ่านหน้าที่เกี่ยวข้องเพื่อเรียบเรียงคำตอบ ซึ่งมักแนบแหล่งที่มาไว้ด้วย
ความแตกต่างนี้สำคัญเมื่อต้องตัดสินใจ กฎที่บล็อก AI crawler ทั้งหมดแบบเหมารวมอาจทำให้เว็บไซต์หายไปจากคำตอบที่อาศัยการดึงข้อมูลโดยไม่ตั้งใจ ทั้งที่ธุรกิจต้องการเพียงจำกัดการนำคอนเทนต์ไปใช้เทรนโมเดล จะอนุญาตหรือบล็อกประเภทใดเป็นการตัดสินใจทางธุรกิจของแต่ละองค์กร สิ่งที่ควรหลีกเลี่ยงคือการบล็อกโดยไม่รู้ว่ากำลังบล็อกอะไร
robots.txt ทำอะไรได้ และทำอะไรไม่ได้?
- เป็นคำขอ ไม่ใช่กลไกบังคับ crawler ที่ปฏิบัติตามกติกาจะยึดถือ แต่ไฟล์นี้ไม่ได้ป้องกันการเข้าถึงในทางเทคนิค คอนเทนต์ที่ต้องปกป้องควรอยู่หลังระบบล็อกอินหรือการควบคุมสิทธิ์เข้าถึง
- อนุญาตไม่ได้แปลว่าจะถูกใช้ การเปิดประตูให้ crawler เป็นเพียงเงื่อนไขเบื้องต้น การที่คอนเทนต์จะถูกเลือกยังขึ้นอยู่กับคุณภาพและความเกี่ยวข้อง ดู AI เลือกแหล่งข้อมูลอย่างไร
- ไม่ใช่สิ่งกีดขวางเพียงอย่างเดียว ไฟร์วอลล์ บริการป้องกันบอต หรือการตั้งค่าเซิร์ฟเวอร์ ก็บล็อก AI crawler ได้เช่นกัน แม้ robots.txt จะอนุญาตก็ตาม
llms.txt คืออะไร?
llms.txt เป็นข้อตกลงที่ถูกเสนอขึ้น โดยให้วางไฟล์ Markdown ไว้ที่ root ของเว็บไซต์เพื่อสรุปเว็บไซต์ให้โมเดลภาษา โดยทั่วไปประกอบด้วยชื่อเว็บไซต์ คำแนะนำสั้น ๆ และรายการลิงก์ไปยังหน้าที่สำคัญที่สุด พร้อมคำอธิบายสั้น ๆ ของแต่ละหน้า แนวคิดคือการยื่นแผนที่ที่กระชับและอ่านง่ายให้โมเดล แทนที่จะปล่อยให้โมเดลไล่ทำความเข้าใจโครงสร้างเว็บไซต์ทั้งหมดเอง
llms.txt ไม่ใช่อะไร?
- ไม่ใช่มาตรฐานอย่างเป็นทางการ ในตอนนี้ยังเป็นเพียงข้อเสนอ
- ไม่ได้รับการรองรับจากผู้ให้บริการ AI ทุกราย การนำไปใช้แตกต่างกัน และไม่ควรสันนิษฐานว่าผู้ช่วย AI รายใดรายหนึ่งจะอ่านไฟล์นี้
- ไม่ใช่การรับประกัน การมี llms.txt ไม่ได้หมายความว่าจะถูกอ้างอิงหรือถูกกล่าวถึงบ่อยขึ้น
- ไม่ใช่สิ่งที่ใช้แทน robots.txt llms.txt ไม่ได้ควบคุมการเข้าถึงของ crawler
- ไม่ใช่สิ่งที่ใช้แทนคอนเทนต์ที่ดี บทสรุปที่เป็นระเบียบไม่สามารถชดเชยหน้าเว็บที่ขาดข้อมูลเจาะจงได้
ควรสร้าง llms.txt หรือไม่?
ทำได้ ตราบใดที่คุณมองว่าเป็นงานเล็ก ๆ ที่ไม่บังคับ ต้นทุนต่ำ เพราะเป็นไฟล์ข้อความเพียงไฟล์เดียวที่อัปเดตเมื่อโครงสร้างเว็บไซต์เปลี่ยน หากจะทำ ให้ไฟล์สั้นและถูกต้อง ลิงก์เฉพาะหน้า canonical และดูแลให้สอดคล้องกับสิ่งที่มีอยู่จริงบนเว็บไซต์เสมอ อย่าคาดหวังว่าไฟล์นี้เพียงอย่างเดียวจะสร้างความเปลี่ยนแปลงที่วัดผลได้ และอย่าให้ความสำคัญกับไฟล์นี้ก่อนงานที่เป็นพื้นฐานกว่า
ควรตรวจสอบอะไรก่อน?
- เปิด robots.txt และมองหากฎที่บล็อก AI crawler โดยไม่ตั้งใจ
- กำหนดนโยบายสำหรับ crawler แต่ละประเภทโดยอิงจากเอกสารของผู้ให้บริการ
- ตรวจสอบการตั้งค่าไฟร์วอลล์และระบบป้องกันบอต
- ตรวจสอบให้แน่ใจว่าเนื้อหาหลักอ่านได้ในรูปแบบข้อความโดยไม่ต้องล็อกอิน
- พิจารณา llms.txt เมื่อทำขั้นตอนข้างต้นเสร็จแล้ว
- ทบทวนเป็นระยะ
การเข้าถึงได้เป็นเพียงชั้นแรก เพื่อให้ AI เข้าใจแบรนด์อย่างถูกต้องและมีเหตุผลที่จะอ้างอิง แบรนด์ยังต้องมีรากฐานด้าน entity คอนเทนต์ที่อ้างอิงได้ และการปรากฏตัวบนหลายแหล่งข้อมูล คุณสามารถอ่านเกี่ยวกับ เฟรมเวิร์ก G.E.O หรือบริการ Entity & Schema ของ GEONGON