Kiến thức

llms.txt và bot AI: chúng là gì và không phải là gì?

robots.txt cho bot AI và đề xuất llms.txt: chúng là gì, làm được gì và không làm được gì cho sự hiện diện của thương hiệu trên AI.

robots.txt là tệp mà website dùng để nói với các bot, trong đó có bot của các công ty AI, phần nào của trang được phép truy cập. llms.txt là một quy ước đang được đề xuất: một tệp Markdown đặt ở thư mục gốc để tóm tắt website cho các mô hình ngôn ngữ. Cả hai đều không đảm bảo thương hiệu sẽ xuất hiện trong câu trả lời của AI: robots.txt là lời đề nghị mà các bot tuân thủ quy ước sẽ làm theo, còn llms.txt chưa phải tiêu chuẩn chính thức và mức độ hỗ trợ ở mỗi nhà cung cấp một khác.

Tóm tắt nhanh

  • robots.txt cho biết bot nào được mời vào. Chặn nhầm bot AI có thể khiến nội dung của bạn không được dùng để trả lời.
  • Có bot thu thập dữ liệu để huấn luyện mô hình, có bot lấy trang để trả lời câu hỏi của người dùng. Nên cân nhắc riêng cho từng loại.
  • llms.txt là một đề xuất: chi phí thấp, tuỳ chọn và không đảm bảo điều gì.
  • Hành vi của bot thay đổi theo thời gian, nên hãy kiểm tra tài liệu chính thức của từng nhà cung cấp.

robots.txt liên quan gì tới AI?

robots.txt nằm ở thư mục gốc của website và chứa các quy tắc theo tên bot (user agent): bot nào được vào, phần nào không nên truy cập. Các công ty AI công bố những tên họ sử dụng để chủ website có thể đặt quy tắc riêng. Một số tên bạn dễ gặp:

  • GPTBot
  • OAI-SearchBot
  • ChatGPT-User
  • ClaudeBot
  • PerplexityBot
  • Google-Extended

Cú pháp giống mọi quy tắc robots.txt khác:

User-agent: <tên bot>
Disallow: /thu-muc-khong-muon-bot-truy-cap/

Mỗi nhà cung cấp mô tả mục đích của từng tên trong tài liệu riêng. Danh sách và hành vi có thể thay đổi, nên đừng dựa vào một bài viết bất kỳ, kể cả bài này, thay cho tài liệu gốc.

Bot huấn luyện và bot trả lời khác nhau thế nào?

Ở mức tổng quát, có hai mục đích chính:

  • Thu thập dữ liệu để huấn luyện mô hình. Nội dung trở thành dữ liệu học cho các phiên bản mô hình về sau.
  • Lấy trang để trả lời câu hỏi. Khi người dùng hỏi, hệ thống tìm và đọc các trang liên quan để tổng hợp câu trả lời, thường kèm dẫn nguồn.

Sự phân biệt này quan trọng khi ra quyết định. Một quy tắc chặn toàn bộ bot AI có thể vô tình loại website khỏi những câu trả lời có truy xuất, trong khi điều doanh nghiệp thực sự muốn chỉ là hạn chế việc dùng nội dung để huấn luyện. Cho phép hay chặn loại nào là lựa chọn kinh doanh của mỗi đơn vị; điều cần tránh là chặn mà không biết mình đang chặn gì.

robots.txt làm được gì và không làm được gì?

  • Là lời đề nghị, không phải cơ chế cưỡng chế. Các bot tuân thủ quy ước sẽ làm theo; tệp này không ngăn được truy cập về mặt kỹ thuật. Nội dung cần bảo vệ nên được đặt sau lớp đăng nhập hoặc phân quyền.
  • Được phép không có nghĩa là được dùng. Mở cửa cho bot chỉ là điều kiện cần. Nội dung có được chọn hay không còn tuỳ vào chất lượng và độ phù hợp. Xem bài AI chọn nguồn trích dẫn như thế nào.
  • Không phải lớp chặn duy nhất. Tường lửa, dịch vụ chống bot hoặc cấu hình máy chủ cũng có thể chặn bot AI dù robots.txt cho phép.

llms.txt là gì?

llms.txt là một quy ước được đề xuất: đặt ở thư mục gốc của website một tệp Markdown tóm tắt trang cho các mô hình ngôn ngữ. Tệp thường gồm tên website, một đoạn giới thiệu ngắn và danh sách liên kết tới những trang quan trọng nhất kèm mô tả. Ý tưởng là đưa cho mô hình một bản đồ gọn, dễ đọc, thay vì để nó tự lần qua toàn bộ cấu trúc trang.

llms.txt không phải là gì?

  • Không phải tiêu chuẩn chính thức. Đây mới là một đề xuất.
  • Không được mọi nhà cung cấp AI hỗ trợ. Mức độ áp dụng khác nhau, và bạn không nên giả định một trợ lý AI cụ thể sẽ đọc tệp này.
  • Không đảm bảo điều gì. Có llms.txt không có nghĩa là được trích dẫn hay được nhắc tên nhiều hơn.
  • Không thay cho robots.txt. llms.txt không điều khiển quyền truy cập của bot.
  • Không thay cho nội dung tốt. Một bản tóm tắt gọn không bù được cho những trang thiếu thông tin cụ thể.

Có nên tạo llms.txt không?

Có thể, miễn là bạn xem đó là một việc nhỏ và tuỳ chọn. Chi phí thấp: một tệp văn bản, cập nhật khi cấu trúc website thay đổi. Nếu làm, hãy giữ tệp ngắn và chính xác, chỉ liên kết tới các trang chính thức và bảo đảm nhất quán với nội dung thật trên website. Đừng kỳ vọng riêng tệp này tạo ra thay đổi đo được, và đừng đặt nó trước những việc nền tảng hơn.

Nên kiểm tra những gì trước?

  1. Mở robots.txt và tìm các quy tắc đang chặn bot AI ngoài ý muốn.
  2. Quyết định chính sách cho từng loại bot dựa trên tài liệu của nhà cung cấp.
  3. Kiểm tra tường lửa và dịch vụ chống bot.
  4. Bảo đảm nội dung chính đọc được dưới dạng văn bản, không cần đăng nhập.
  5. Cân nhắc llms.txt sau khi các bước trên đã xong.
  6. Rà soát lại định kỳ.

Khả năng truy cập chỉ là lớp đầu tiên. Để AI hiểu đúng và có lý do trích dẫn, thương hiệu còn cần nền móng thực thể, nội dung đáng trích dẫn và sự hiện diện trên nhiều nguồn. Bạn có thể tìm hiểu phương pháp G.E.O hoặc dịch vụ Entity & Schema của GEONGON.

Bài viết liên quan

  • 19/11/2026 · 4phút đọc

    AI chọn nguồn trích dẫn như thế nào?

    Ở mức tổng quát, AI thường dùng những trang truy cập được, có cấu trúc rõ, nội dung cụ thể và nhất quán với các nguồn khác.

  • 19/11/2026 · 4phút đọc

    Đo lường AI Visibility như thế nào?

    Cách đo sự hiện diện của thương hiệu trong câu trả lời AI bằng bộ prompt cố định và bốn chỉ số mention, citation, share of voice, sentiment.

  • 19/11/2026 · 4phút đọc

    GEO khác SEO như thế nào?

    SEO tối ưu thứ hạng trang web, GEO tối ưu sự hiện diện của thương hiệu trong câu trả lời của AI, và hai hoạt động bổ trợ cho nhau.

Thương hiệu của bạn đang ở đâu trong câu trả lời của AI?

Bắt đầu bằng một buổi trao đổi và bản đánh giá sơ bộ mức độ hiện diện trên các nền tảng AI.

Nhận audit AI Visibility