洞察

llms.txt 与 AI 爬虫:它们是什么,又不是什么

面向 AI 爬虫的 robots.txt 与 llms.txt 提案:它们是什么,能为品牌在 AI 中的曝光做什么,又不能做什么。

robots.txt 是网站用来告知爬虫(包括 AI 公司运营的爬虫)可以访问网站哪些部分的文件。llms.txt 是一项提议中的约定:在网站根目录放置一个 Markdown 文件,为语言模型概述网站内容。两者都不能保证品牌出现在 AI 回答中:robots.txt 只是一项请求,由守规矩的爬虫自觉遵守;llms.txt 也不是官方标准,各服务商的支持情况不一。

要点速览

  • robots.txt 说明哪些爬虫受邀进入。误屏蔽 AI 爬虫,可能导致您的内容无法被用于回答。
  • 有些爬虫收集数据用于训练模型,有些则抓取页面来回答用户的问题。应对每一类分别做出决定。
  • llms.txt 只是一项提案:成本低、可选,而且不保证任何结果。
  • 爬虫的行为会随时间变化,请查阅各服务商的官方文档。

robots.txt 与 AI 有什么关系?

robots.txt 位于网站根目录,按爬虫名称(user agent)设定规则:哪些爬虫可以进入,哪些部分它们不应访问。AI 公司会公布自己使用的名称,以便网站所有者为其设定专门的规则。您可能会遇到的一些名称:

  • GPTBot
  • OAI-SearchBot
  • ChatGPT-User
  • ClaudeBot
  • PerplexityBot
  • Google-Extended

语法与其他任何 robots.txt 规则相同:

User-agent: <爬虫名称>
Disallow: /不希望爬虫访问的目录/

每家服务商都会在自己的文档中说明每个名称的用途。名单和行为都可能变化,因此不要用任何文章(包括本文)代替原始文档。

训练爬虫与回答爬虫有何不同?

大体上有两种主要用途:

  • 收集数据用于训练模型。 内容会成为模型后续版本的学习材料。
  • 抓取页面以回答问题。 当用户提问时,系统会查找并阅读相关页面来生成回答,通常还会附上来源。

在做决定时,这一区别很重要。一条针对所有 AI 爬虫的一刀切规则,可能在无意中让网站从基于检索的回答中消失,而企业真正想要的,只是限制内容被用于训练。允许或屏蔽哪些类型,是每个组织自己的业务决策;需要避免的是在不清楚自己屏蔽了什么的情况下就进行屏蔽。

robots.txt 能做什么,不能做什么?

  • 它是请求,而不是强制机制。 守规矩的爬虫会遵守它,但这个文件并不能在技术上阻止访问。需要保护的内容应放在登录或访问控制之后。
  • 允许不等于会被使用。 向爬虫敞开大门只是前提条件。内容能否被选中,仍取决于其质量和相关性。请参阅 AI 如何选择信息来源。
  • 它不是唯一的屏障。 即使 robots.txt 允许,防火墙、防机器人服务或服务器配置也可能屏蔽 AI 爬虫。

什么是 llms.txt?

llms.txt 是一项提议中的约定:在网站根目录放置一个 Markdown 文件,为语言模型概述网站内容。它通常包含网站名称、一段简短介绍,以及指向最重要页面的链接列表,每个链接附有简要说明。其理念是交给模型一张简洁易读的地图,而不是让它自己去摸索整个网站结构。

llms.txt 不是什么?

  • 不是官方标准。 目前它只是一项提案。
  • 并非所有 AI 服务商都支持。 各家的采用情况不一,您不应假定某个特定的 AI 助手会读取这个文件。
  • 不是保证。 拥有 llms.txt 并不意味着会更频繁地被引用或提及。
  • 不能替代 robots.txt。 llms.txt 不控制爬虫的访问。
  • 不能替代优质内容。 一份整洁的概述,弥补不了页面缺乏具体信息的问题。

您应该创建 llms.txt 吗?

可以,只要把它当作一项小型的可选任务。成本很低:一个文本文件,在网站结构变化时更新即可。如果要做,请保持文件简短、准确,只链接到规范页面(canonical),并确保它与网站上的实际内容保持一致。不要指望仅凭这个文件就能带来可衡量的变化,也不要把它排在更基础的工作之前。

应该先检查什么?

  1. 打开 robots.txt,查找是否有无意中屏蔽 AI 爬虫的规则。
  2. 根据各服务商的文档,为每一类爬虫制定策略。
  3. 检查防火墙和防机器人设置。
  4. 确保主要内容无需登录即可以文本形式读取。
  5. 完成上述步骤后,再考虑 llms.txt。
  6. 定期复查。

可访问性只是第一层。要让 AI 正确理解品牌并有理由引用它,品牌还需要实体基础、值得引用的内容以及在多个来源上的曝光。您可以阅读 G.E.O 框架,或了解 GEONGON 的实体与 Schema服务。

相关文章

  • 2026/11/19 · 4分钟阅读

    AI 如何选择引用哪些来源?

    总体而言,AI 系统在选择引用来源时,倾向于采用可以访问、结构清晰、内容具体,并且与其他来源说法一致的页面。

  • 2026/11/19 · 4分钟阅读

    GEO 与 SEO:有何不同,如何协同

    SEO 优化的是网页在搜索结果中的排名,GEO 优化的是品牌能否出现在 AI 生成的回答中,两者配合使用才能发挥最佳效果。

  • 2026/11/19 · 4分钟阅读

    什么是 GEO?生成式引擎优化详解

    GEO(生成式引擎优化,Generative Engine Optimization)是什么,为什么在当下变得重要,以及一个 GEO 项目实际包含哪些工作领域。

如今,您的品牌在 AI 回答中处于什么位置?

从一次沟通开始,初步了解您的品牌在各 AI 平台上的可见度。

获取 AI 可见度诊断