知識專欄

llms.txt 與 AI 爬蟲:它們是什麼,又不是什麼

針對 AI 爬蟲的 robots.txt 與 llms.txt 提案:它們是什麼,對品牌在 AI 中的曝光能做到什麼、又做不到什麼。

robots.txt 是網站用來告訴爬蟲(包括 AI 公司所營運的爬蟲)可以存取網站哪些部分的檔案。llms.txt 則是一項提議中的慣例:在網站根目錄放置一個 Markdown 檔案,為語言模型摘要整個網站。兩者都無法保證品牌會出現在 AI 回答中:robots.txt 是守規矩的爬蟲會遵循的請求,而 llms.txt 並非正式標準,各家業者的支援程度也不一。

重點摘要

  • robots.txt 說明哪些爬蟲可以進入。若誤擋 AI 爬蟲,您的內容可能就無法被用於回答。
  • 有些爬蟲蒐集資料來訓練模型;有些則抓取網頁來回答使用者的問題。請針對每一類分別做決定。
  • llms.txt 是一項提案:成本低、可自行選擇,且不保證任何事。
  • 爬蟲的行為會隨時間改變,請查閱各業者的官方文件。

robots.txt 和 AI 有什麼關係?

robots.txt 位於網站根目錄,依爬蟲名稱(user agent)設定規則:哪些爬蟲可以進入,以及應該避開哪些區塊。AI 公司會公布它們使用的名稱,讓網站擁有者能針對它們設定專屬規則。您可能會遇到的幾個名稱:

  • GPTBot
  • OAI-SearchBot
  • ChatGPT-User
  • ClaudeBot
  • PerplexityBot
  • Google-Extended

語法與其他 robots.txt 規則相同:

User-agent: <爬蟲名稱>
Disallow: /不希望爬蟲進入的資料夾/

各業者會在自己的文件中說明每個名稱的用途。這份清單與爬蟲的行為都可能改變,因此請勿以任何文章(包括本文)取代原始文件。

訓練用爬蟲與回答用爬蟲有何不同?

大致上,主要有兩種用途:

  • 蒐集資料以訓練模型。 內容會成為後續模型版本的學習素材。
  • 抓取網頁以回答問題。 當使用者提問時,系統會尋找並閱讀相關網頁來組成回答,通常還會附上來源。

做決策時,這個區別很重要。一條封鎖所有 AI 爬蟲的通用規則,可能在無意間讓網站從以檢索為基礎的回答中消失,而企業真正想要的,其實只是限制內容被用於訓練。要允許或封鎖哪些類型,是每個組織自己的商業決策;真正要避免的,是在不清楚自己封鎖了什麼的情況下就封鎖。

robots.txt 能做到什麼、做不到什麼?

  • 它是請求,而不是強制機制。 守規矩的爬蟲會遵守;這個檔案在技術上並不會阻止存取。需要保護的內容,應該放在登入或存取控制之後。
  • 允許不代表會被使用。 對爬蟲敞開大門只是前提條件。內容能否被選用,仍取決於它的品質與相關性。請參閱 AI 如何選擇來源。
  • 它不是唯一的關卡。 即使 robots.txt 允許,防火牆、機器人防護服務或伺服器設定,也可能封鎖 AI 爬蟲。

llms.txt 是什麼?

llms.txt 是一項提議中的慣例:在網站根目錄放置一個 Markdown 檔案,為語言模型摘要整個網站。它通常包含網站名稱、簡短介紹,以及最重要頁面的連結清單,每個連結附上簡短說明。其構想是交給模型一份精簡、易讀的地圖,而不是讓它自行摸索整個網站結構。

llms.txt 不是什麼?

  • 不是正式標準。 目前它仍只是一項提案。
  • 並非每家 AI 業者都支援。 採用程度不一,您不應假設任何特定的 AI 助理會讀取這個檔案。
  • 不是保證。 有 llms.txt,不代表會更常被引用或提及。
  • 無法取代 robots.txt。 llms.txt 不控制爬蟲的存取。
  • 無法取代優質內容。 再整齊的摘要,也無法彌補缺乏具體資訊的頁面。

該建立 llms.txt 嗎?

可以,只要把它視為一項小型、可選擇的工作。成本很低:一個文字檔,在網站結構改變時更新即可。如果要做,請讓檔案保持簡短、正確,只連結到標準(canonical)頁面,並確保內容與網站上的實際情況一致。不要期待光靠這個檔案就能帶來可衡量的改變,也不要把它排在更基礎的工作之前。

應該先檢查什麼?

  1. 打開 robots.txt,找出無意間封鎖 AI 爬蟲的規則。
  2. 根據各業者的文件,為每一類爬蟲訂定政策。
  3. 檢查防火牆與機器人防護設定。
  4. 確認主要內容不需登入,即可以文字形式讀取。
  5. 完成上述步驟後,再考慮 llms.txt。
  6. 定期檢視。

可存取只是第一層。要讓 AI 正確理解品牌並有理由引用它,品牌還需要實體基礎、值得引用的內容,以及在多個來源上的曝光。您可以進一步閱讀 G.E.O 框架,或 GEONGON 的實體與 Schema 服務。

相關文章

您的品牌,目前在 AI 回答中處於什麼位置?

從一次對談開始,初步了解您的品牌在各 AI 平台上的能見度。

申請 AI 能見度健檢