robots.txtは、AI企業が運営するものを含むクローラーに対して、サイトのどの部分にアクセスしてよいかを伝えるためのファイルです。llms.txtは提案段階の慣行で、サイトのルートに置いたMarkdownファイルによって、言語モデル向けにサイトの概要を示すものです。どちらも、ブランドがAIの回答に登場することを保証するものではありません。robots.txtは行儀のよいクローラーが従う「お願い」であり、llms.txtは公式の標準ではなく、対応状況も事業者によって異なります。
要点
- robots.txtは、どのクローラーを受け入れるかを示します。誤ってAIクローラーをブロックすると、コンテンツが回答に使われなくなる可能性があります。
- モデルの学習用にデータを収集するクローラーもあれば、ユーザーの質問に答えるためにページを取得するクローラーもあります。種類ごとに別々に判断しましょう。
- llms.txtは提案にすぎません。低コストで任意の取り組みであり、何も保証しません。
- クローラーの挙動は時間とともに変わるため、各事業者の公式ドキュメントを確認してください。
robots.txtはAIとどう関係するのか?
robots.txtはWebサイトのルートに置かれ、クローラー名(ユーザーエージェント)ごとのルールを記述します。どのクローラーが入ってよいか、どのセクションには入らないでほしいか、といったルールです。AI企業は使用するクローラー名を公開しており、サイト運営者はそれらに対して個別のルールを設定できます。目にする機会が多いものとしては、次のようなものがあります。
- GPTBot
- OAI-SearchBot
- ChatGPT-User
- ClaudeBot
- PerplexityBot
- Google-Extended
構文は、他のrobots.txtのルールと同じです。
User-agent: <クローラー名>
Disallow: /クローラーに避けてほしいフォルダ/
各事業者は、それぞれのクローラー名の用途を自社のドキュメントで説明しています。リストも挙動も変わる可能性があるため、この記事も含め、どの記事も元のドキュメントの代わりとして頼らないでください。
学習用クローラーと回答用クローラーはどう違うのか?
大まかに言えば、主な目的は2つあります。
- モデルの学習用にデータを収集する。 コンテンツは、将来のバージョンのモデルの学習素材になります。
- 質問に答えるためにページを取得する。 ユーザーが何かを尋ねると、システムが関連するページを探して読み込み、回答を組み立てます。多くの場合、情報源も添えられます。
この区別は、判断を下す際に重要です。すべてのAIクローラーを一律に拒否するルールは、企業が本当に望んでいたのがコンテンツの学習利用を制限することだけだったとしても、意図せずWebサイトを情報取得型の回答から外してしまう可能性があります。どの種類を許可し、どれをブロックするかは、各組織のビジネス上の判断です。避けるべきなのは、何をブロックしているのかを理解しないままブロックすることです。
robots.txtにできること、できないことは?
- 強制ではなく「お願い」である。 行儀のよいクローラーは従いますが、このファイルが技術的にアクセスを防ぐわけではありません。保護が必要なコンテンツは、ログインやアクセス制御の背後に置くべきです。
- 許可されても、使われるとは限らない。 クローラーに門戸を開くことは前提条件にすぎません。コンテンツが選ばれるかどうかは、やはりその質と関連性次第です。AIが情報源をどう選ぶかもご覧ください。
- 障壁はrobots.txtだけではない。 ファイアウォール、ボット対策サービス、サーバー設定も、robots.txtが許可していてもAIクローラーをブロックすることがあります。
llms.txtとは?
llms.txtは提案段階の慣行で、Webサイトのルートに、言語モデル向けにサイトの概要を示すMarkdownファイルを置くというものです。通常、サイト名、短い紹介文、そして最も重要なページへのリンクの一覧(それぞれに簡単な説明付き)を含みます。狙いは、サイト構造全体をモデル自身にたどらせるのではなく、コンパクトで読みやすい地図を渡すことです。
llms.txtは何ではないのか?
- 公式の標準ではない。 現時点では提案にすぎません。
- すべてのAI事業者が対応しているわけではない。 採用状況はまちまちで、特定のAIアシスタントがこのファイルを読むと想定すべきではありません。
- 保証ではない。 llms.txtがあるからといって、引用や言及が増えるわけではありません。
- robots.txtの代わりではない。 llms.txtはクローラーのアクセスを制御しません。
- 良質なコンテンツの代わりではない。 整った概要があっても、具体的な情報に欠けるページを補うことはできません。
llms.txtを作成すべきか?
小さな任意の作業として扱うのであれば、作成してもかまいません。コストは低く、テキストファイルを1つ用意し、サイト構造が変わったときに更新するだけです。作成する場合は、ファイルを短く正確に保ち、正規ページ(canonical)のみにリンクし、Webサイトの実際の内容と一致した状態を維持してください。このファイルだけで測定可能な変化が生まれると期待せず、より根本的な取り組みよりも優先しないようにしましょう。
まず何を確認すべきか?
- robots.txtを開き、意図せずAIクローラーをブロックしているルールがないか確認する。
- 各事業者のドキュメントに基づいて、クローラーの種類ごとの方針を決める。
- ファイアウォールとボット対策の設定を確認する。
- 主要なコンテンツが、ログインなしでテキストとして読めることを確認する。
- 上記のステップが完了したら、llms.txtを検討する。
- 定期的に見直す。
アクセスしやすさは、最初の層にすぎません。AIがブランドを正しく理解し、引用する理由を持つためには、エンティティの基盤、引用される価値のあるコンテンツ、そして多くの情報源での存在感も必要です。G.E.Oフレームワークや、GEONGONのエンティティ & スキーマサービスについてもご覧ください。