robots.txt 是网站用来告知爬虫(包括 AI 公司运营的爬虫)可以访问网站哪些部分的文件。llms.txt 是一项提议中的约定:在网站根目录放置一个 Markdown 文件,为语言模型概述网站内容。两者都不能保证品牌出现在 AI 回答中:robots.txt 只是一项请求,由守规矩的爬虫自觉遵守;llms.txt 也不是官方标准,各服务商的支持情况不一。
要点速览
- robots.txt 说明哪些爬虫受邀进入。误屏蔽 AI 爬虫,可能导致您的内容无法被用于回答。
- 有些爬虫收集数据用于训练模型,有些则抓取页面来回答用户的问题。应对每一类分别做出决定。
- llms.txt 只是一项提案:成本低、可选,而且不保证任何结果。
- 爬虫的行为会随时间变化,请查阅各服务商的官方文档。
robots.txt 与 AI 有什么关系?
robots.txt 位于网站根目录,按爬虫名称(user agent)设定规则:哪些爬虫可以进入,哪些部分它们不应访问。AI 公司会公布自己使用的名称,以便网站所有者为其设定专门的规则。您可能会遇到的一些名称:
- GPTBot
- OAI-SearchBot
- ChatGPT-User
- ClaudeBot
- PerplexityBot
- Google-Extended
语法与其他任何 robots.txt 规则相同:
User-agent: <爬虫名称>
Disallow: /不希望爬虫访问的目录/
每家服务商都会在自己的文档中说明每个名称的用途。名单和行为都可能变化,因此不要用任何文章(包括本文)代替原始文档。
训练爬虫与回答爬虫有何不同?
大体上有两种主要用途:
- 收集数据用于训练模型。 内容会成为模型后续版本的学习材料。
- 抓取页面以回答问题。 当用户提问时,系统会查找并阅读相关页面来生成回答,通常还会附上来源。
在做决定时,这一区别很重要。一条针对所有 AI 爬虫的一刀切规则,可能在无意中让网站从基于检索的回答中消失,而企业真正想要的,只是限制内容被用于训练。允许或屏蔽哪些类型,是每个组织自己的业务决策;需要避免的是在不清楚自己屏蔽了什么的情况下就进行屏蔽。
robots.txt 能做什么,不能做什么?
- 它是请求,而不是强制机制。 守规矩的爬虫会遵守它,但这个文件并不能在技术上阻止访问。需要保护的内容应放在登录或访问控制之后。
- 允许不等于会被使用。 向爬虫敞开大门只是前提条件。内容能否被选中,仍取决于其质量和相关性。请参阅 AI 如何选择信息来源。
- 它不是唯一的屏障。 即使 robots.txt 允许,防火墙、防机器人服务或服务器配置也可能屏蔽 AI 爬虫。
什么是 llms.txt?
llms.txt 是一项提议中的约定:在网站根目录放置一个 Markdown 文件,为语言模型概述网站内容。它通常包含网站名称、一段简短介绍,以及指向最重要页面的链接列表,每个链接附有简要说明。其理念是交给模型一张简洁易读的地图,而不是让它自己去摸索整个网站结构。
llms.txt 不是什么?
- 不是官方标准。 目前它只是一项提案。
- 并非所有 AI 服务商都支持。 各家的采用情况不一,您不应假定某个特定的 AI 助手会读取这个文件。
- 不是保证。 拥有 llms.txt 并不意味着会更频繁地被引用或提及。
- 不能替代 robots.txt。 llms.txt 不控制爬虫的访问。
- 不能替代优质内容。 一份整洁的概述,弥补不了页面缺乏具体信息的问题。
您应该创建 llms.txt 吗?
可以,只要把它当作一项小型的可选任务。成本很低:一个文本文件,在网站结构变化时更新即可。如果要做,请保持文件简短、准确,只链接到规范页面(canonical),并确保它与网站上的实际内容保持一致。不要指望仅凭这个文件就能带来可衡量的变化,也不要把它排在更基础的工作之前。
应该先检查什么?
- 打开 robots.txt,查找是否有无意中屏蔽 AI 爬虫的规则。
- 根据各服务商的文档,为每一类爬虫制定策略。
- 检查防火墙和防机器人设置。
- 确保主要内容无需登录即可以文本形式读取。
- 完成上述步骤后,再考虑 llms.txt。
- 定期复查。
可访问性只是第一层。要让 AI 正确理解品牌并有理由引用它,品牌还需要实体基础、值得引用的内容以及在多个来源上的曝光。您可以阅读 G.E.O 框架,或了解 GEONGON 的实体与 Schema服务。