บทความ

llms.txt และ AI crawler: คืออะไร และไม่ใช่อะไร

robots.txt สำหรับ AI crawler และข้อเสนอ llms.txt คืออะไร ทำอะไรได้ และทำอะไรไม่ได้ต่อการปรากฏตัวของแบรนด์บน AI

robots.txt คือไฟล์ที่เว็บไซต์ใช้บอก crawler รวมถึง crawler ของบริษัท AI ว่าเข้าถึงส่วนใดของเว็บไซต์ได้บ้าง ส่วน llms.txt เป็นข้อตกลงที่ถูกเสนอขึ้น คือไฟล์ Markdown ที่วางไว้ที่ root ของเว็บไซต์เพื่อสรุปเว็บไซต์ให้โมเดลภาษา ทั้งสองอย่างไม่ได้รับประกันว่าแบรนด์จะปรากฏในคำตอบของ AI เพราะ robots.txt เป็นคำขอที่ crawler ซึ่งปฏิบัติตามกติกาจะยึดถือ ส่วน llms.txt ไม่ใช่มาตรฐานอย่างเป็นทางการ และการรองรับแตกต่างกันไปในแต่ละผู้ให้บริการ

ประเด็นสำคัญ

  • robots.txt ระบุว่า crawler ใดได้รับเชิญให้เข้ามา การบล็อก AI crawler โดยไม่ตั้งใจอาจทำให้คอนเทนต์ของคุณไม่ถูกนำไปใช้ในคำตอบ
  • crawler บางตัวเก็บข้อมูลเพื่อเทรนโมเดล บางตัวดึงหน้าเว็บเพื่อตอบคำถามของผู้ใช้ ควรตัดสินใจแยกกันสำหรับแต่ละประเภท
  • llms.txt เป็นข้อเสนอที่ใช้ต้นทุนต่ำ ไม่บังคับ และไม่ได้รับประกันสิ่งใด
  • พฤติกรรมของ crawler เปลี่ยนไปตามเวลา จึงควรตรวจสอบเอกสารทางการของผู้ให้บริการแต่ละราย

robots.txt เกี่ยวข้องกับ AI อย่างไร?

robots.txt อยู่ที่ root ของเว็บไซต์ และเก็บกฎตามชื่อ crawler (user agent) ว่า crawler ใดเข้ามาได้ และส่วนใดที่ควรหลีกเลี่ยง บริษัท AI เผยแพร่ชื่อที่ใช้ เพื่อให้เจ้าของเว็บไซต์ตั้งกฎเฉพาะสำหรับ crawler เหล่านั้นได้ ตัวอย่างที่คุณน่าจะพบ:

  • GPTBot
  • OAI-SearchBot
  • ChatGPT-User
  • ClaudeBot
  • PerplexityBot
  • Google-Extended

ไวยากรณ์เหมือนกับกฎอื่น ๆ ใน robots.txt:

User-agent: <crawler name>
Disallow: /a-folder-you-want-crawlers-to-skip/

ผู้ให้บริการแต่ละรายอธิบายไว้ในเอกสารของตนเองว่าแต่ละชื่อใช้ทำอะไร รายชื่อและพฤติกรรมอาจเปลี่ยนแปลงได้ จึงไม่ควรใช้บทความใด รวมถึงบทความนี้ แทนเอกสารต้นฉบับ

crawler สำหรับเทรนโมเดลต่างจาก crawler สำหรับตอบคำถามอย่างไร?

โดยภาพรวม มีจุดประสงค์หลักสองแบบ:

  • เก็บข้อมูลเพื่อเทรนโมเดล คอนเทนต์จะกลายเป็นข้อมูลการเรียนรู้สำหรับโมเดลเวอร์ชันถัดไป
  • ดึงหน้าเว็บเพื่อตอบคำถาม เมื่อผู้ใช้ถามบางอย่าง ระบบจะค้นหาและอ่านหน้าที่เกี่ยวข้องเพื่อเรียบเรียงคำตอบ ซึ่งมักแนบแหล่งที่มาไว้ด้วย

ความแตกต่างนี้สำคัญเมื่อต้องตัดสินใจ กฎที่บล็อก AI crawler ทั้งหมดแบบเหมารวมอาจทำให้เว็บไซต์หายไปจากคำตอบที่อาศัยการดึงข้อมูลโดยไม่ตั้งใจ ทั้งที่ธุรกิจต้องการเพียงจำกัดการนำคอนเทนต์ไปใช้เทรนโมเดล จะอนุญาตหรือบล็อกประเภทใดเป็นการตัดสินใจทางธุรกิจของแต่ละองค์กร สิ่งที่ควรหลีกเลี่ยงคือการบล็อกโดยไม่รู้ว่ากำลังบล็อกอะไร

robots.txt ทำอะไรได้ และทำอะไรไม่ได้?

  • เป็นคำขอ ไม่ใช่กลไกบังคับ crawler ที่ปฏิบัติตามกติกาจะยึดถือ แต่ไฟล์นี้ไม่ได้ป้องกันการเข้าถึงในทางเทคนิค คอนเทนต์ที่ต้องปกป้องควรอยู่หลังระบบล็อกอินหรือการควบคุมสิทธิ์เข้าถึง
  • อนุญาตไม่ได้แปลว่าจะถูกใช้ การเปิดประตูให้ crawler เป็นเพียงเงื่อนไขเบื้องต้น การที่คอนเทนต์จะถูกเลือกยังขึ้นอยู่กับคุณภาพและความเกี่ยวข้อง ดู AI เลือกแหล่งข้อมูลอย่างไร
  • ไม่ใช่สิ่งกีดขวางเพียงอย่างเดียว ไฟร์วอลล์ บริการป้องกันบอต หรือการตั้งค่าเซิร์ฟเวอร์ ก็บล็อก AI crawler ได้เช่นกัน แม้ robots.txt จะอนุญาตก็ตาม

llms.txt คืออะไร?

llms.txt เป็นข้อตกลงที่ถูกเสนอขึ้น โดยให้วางไฟล์ Markdown ไว้ที่ root ของเว็บไซต์เพื่อสรุปเว็บไซต์ให้โมเดลภาษา โดยทั่วไปประกอบด้วยชื่อเว็บไซต์ คำแนะนำสั้น ๆ และรายการลิงก์ไปยังหน้าที่สำคัญที่สุด พร้อมคำอธิบายสั้น ๆ ของแต่ละหน้า แนวคิดคือการยื่นแผนที่ที่กระชับและอ่านง่ายให้โมเดล แทนที่จะปล่อยให้โมเดลไล่ทำความเข้าใจโครงสร้างเว็บไซต์ทั้งหมดเอง

llms.txt ไม่ใช่อะไร?

  • ไม่ใช่มาตรฐานอย่างเป็นทางการ ในตอนนี้ยังเป็นเพียงข้อเสนอ
  • ไม่ได้รับการรองรับจากผู้ให้บริการ AI ทุกราย การนำไปใช้แตกต่างกัน และไม่ควรสันนิษฐานว่าผู้ช่วย AI รายใดรายหนึ่งจะอ่านไฟล์นี้
  • ไม่ใช่การรับประกัน การมี llms.txt ไม่ได้หมายความว่าจะถูกอ้างอิงหรือถูกกล่าวถึงบ่อยขึ้น
  • ไม่ใช่สิ่งที่ใช้แทน robots.txt llms.txt ไม่ได้ควบคุมการเข้าถึงของ crawler
  • ไม่ใช่สิ่งที่ใช้แทนคอนเทนต์ที่ดี บทสรุปที่เป็นระเบียบไม่สามารถชดเชยหน้าเว็บที่ขาดข้อมูลเจาะจงได้

ควรสร้าง llms.txt หรือไม่?

ทำได้ ตราบใดที่คุณมองว่าเป็นงานเล็ก ๆ ที่ไม่บังคับ ต้นทุนต่ำ เพราะเป็นไฟล์ข้อความเพียงไฟล์เดียวที่อัปเดตเมื่อโครงสร้างเว็บไซต์เปลี่ยน หากจะทำ ให้ไฟล์สั้นและถูกต้อง ลิงก์เฉพาะหน้า canonical และดูแลให้สอดคล้องกับสิ่งที่มีอยู่จริงบนเว็บไซต์เสมอ อย่าคาดหวังว่าไฟล์นี้เพียงอย่างเดียวจะสร้างความเปลี่ยนแปลงที่วัดผลได้ และอย่าให้ความสำคัญกับไฟล์นี้ก่อนงานที่เป็นพื้นฐานกว่า

ควรตรวจสอบอะไรก่อน?

  1. เปิด robots.txt และมองหากฎที่บล็อก AI crawler โดยไม่ตั้งใจ
  2. กำหนดนโยบายสำหรับ crawler แต่ละประเภทโดยอิงจากเอกสารของผู้ให้บริการ
  3. ตรวจสอบการตั้งค่าไฟร์วอลล์และระบบป้องกันบอต
  4. ตรวจสอบให้แน่ใจว่าเนื้อหาหลักอ่านได้ในรูปแบบข้อความโดยไม่ต้องล็อกอิน
  5. พิจารณา llms.txt เมื่อทำขั้นตอนข้างต้นเสร็จแล้ว
  6. ทบทวนเป็นระยะ

การเข้าถึงได้เป็นเพียงชั้นแรก เพื่อให้ AI เข้าใจแบรนด์อย่างถูกต้องและมีเหตุผลที่จะอ้างอิง แบรนด์ยังต้องมีรากฐานด้าน entity คอนเทนต์ที่อ้างอิงได้ และการปรากฏตัวบนหลายแหล่งข้อมูล คุณสามารถอ่านเกี่ยวกับ เฟรมเวิร์ก G.E.O หรือบริการ Entity & Schema ของ GEONGON

บทความที่เกี่ยวข้อง

วันนี้แบรนด์ของคุณอยู่ตรงไหนในคำตอบของ AI?

เริ่มต้นด้วยการพูดคุย และการประเมินเบื้องต้นว่าแบรนด์ของคุณปรากฏบนแพลตฟอร์ม AI มากน้อยเพียงใด

ขอรับการตรวจ AI Visibility