robots.txt는 웹사이트가 AI 기업이 운영하는 크롤러를 포함한 크롤러들에게 사이트의 어느 부분에 접근해도 되는지 알려 주는 파일입니다. llms.txt는 제안된 규약으로, 언어 모델을 위해 사이트를 요약한 Markdown 파일을 사이트 루트에 두는 방식입니다. 둘 다 브랜드가 AI 답변에 등장한다는 것을 보장하지 않습니다. robots.txt는 규칙을 준수하는 크롤러가 따르는 요청일 뿐이고, llms.txt는 공식 표준이 아니며 지원 여부도 업체마다 다릅니다.
핵심 요약
- robots.txt는 어떤 크롤러를 허용할지 알려 줍니다. AI 크롤러를 실수로 차단하면 콘텐츠가 답변에 활용되지 못할 수 있습니다.
- 어떤 크롤러는 모델 학습용 데이터를 수집하고, 어떤 크롤러는 사용자의 질문에 답하기 위해 페이지를 가져옵니다. 각 유형을 따로 판단하세요.
- llms.txt는 제안 단계입니다. 비용이 적고 선택 사항이며, 아무것도 보장하지 않습니다.
- 크롤러의 동작은 시간이 지나며 바뀌므로 각 업체의 공식 문서를 확인하세요.
robots.txt는 AI와 어떤 관계가 있을까요?
robots.txt는 웹사이트 루트에 위치하며, 크롤러 이름(user agent)별 규칙을 담고 있습니다. 어떤 크롤러가 들어올 수 있는지, 어떤 영역에는 들어오지 말아야 하는지를 정합니다. AI 기업들은 사이트 소유자가 구체적인 규칙을 설정할 수 있도록 자신들이 사용하는 이름을 공개합니다. 자주 접하게 될 이름은 다음과 같습니다.
- GPTBot
- OAI-SearchBot
- ChatGPT-User
- ClaudeBot
- PerplexityBot
- Google-Extended
문법은 다른 robots.txt 규칙과 동일합니다.
User-agent: <크롤러 이름>
Disallow: /크롤러가-접근하지-않을-폴더/
각 업체는 이름별 용도를 자체 문서에서 설명합니다. 목록과 동작은 바뀔 수 있으므로, 이 글을 포함한 어떤 아티클도 원본 문서를 대신하는 근거로 삼지 마세요.
학습용 크롤러와 답변용 크롤러는 어떻게 다를까요?
크게 두 가지 주요 목적이 있습니다.
- 모델 학습용 데이터 수집. 콘텐츠가 이후 버전 모델의 학습 자료가 됩니다.
- 질문에 답하기 위한 페이지 수집. 사용자가 무언가를 물으면 시스템이 관련 페이지를 찾아 읽고 답변을 구성하며, 종종 출처를 함께 제시합니다.
이 구분은 의사 결정을 할 때 중요합니다. 모든 AI 크롤러를 일괄 차단하는 규칙은, 기업이 실제로는 콘텐츠의 학습 활용만 제한하고 싶었던 경우에도 검색 기반 답변에서 웹사이트를 의도치 않게 제외시킬 수 있습니다. 어떤 유형을 허용하거나 차단할지는 각 조직의 비즈니스 결정입니다. 피해야 할 것은 무엇을 차단하는지 모른 채 차단하는 것입니다.
robots.txt로 할 수 있는 것과 할 수 없는 것은?
- 강제 수단이 아니라 요청입니다. 규칙을 준수하는 크롤러는 이를 따르지만, 파일 자체가 기술적으로 접근을 막지는 않습니다. 보호가 필요한 콘텐츠는 로그인이나 접근 제어 뒤에 두어야 합니다.
- 허용이 곧 활용을 뜻하지는 않습니다. 크롤러에게 문을 여는 것은 전제 조건일 뿐입니다. 콘텐츠가 선택되는지는 여전히 품질과 관련성에 달려 있습니다. AI가 출처를 선택하는 방식을 참고하세요.
- 유일한 장벽이 아닙니다. robots.txt가 허용하더라도 방화벽, 봇 차단 서비스, 서버 설정이 AI 크롤러를 막을 수 있습니다.
llms.txt란 무엇일까요?
llms.txt는 제안된 규약으로, 언어 모델을 위해 사이트를 요약한 Markdown 파일을 웹사이트 루트에 두는 것입니다. 보통 사이트 이름, 짧은 소개, 그리고 가장 중요한 페이지의 링크 목록과 각 페이지에 대한 간단한 설명이 담깁니다. 모델이 전체 사이트 구조를 스스로 파악하도록 두는 대신, 간결하고 읽기 쉬운 지도를 건네주자는 아이디어입니다.
llms.txt가 아닌 것은?
- 공식 표준이 아닙니다. 현재로서는 제안 단계입니다.
- 모든 AI 업체가 지원하지 않습니다. 도입 현황은 제각각이며, 특정 AI 어시스턴트가 이 파일을 읽을 것이라고 가정해서는 안 됩니다.
- 보장이 아닙니다. llms.txt가 있다고 해서 더 자주 인용되거나 언급되는 것은 아닙니다.
- robots.txt를 대체하지 않습니다. llms.txt는 크롤러 접근을 제어하지 않습니다.
- 좋은 콘텐츠를 대체하지 않습니다. 깔끔한 요약이 구체적인 정보가 부족한 페이지를 메워 줄 수는 없습니다.
llms.txt를 만들어야 할까요?
작고 선택적인 작업으로 여긴다면 만들어도 좋습니다. 비용은 적습니다. 텍스트 파일 하나를 만들고 사이트 구조가 바뀔 때 업데이트하면 됩니다. 만든다면 파일을 짧고 정확하게 유지하고, 대표(canonical) 페이지만 링크하며, 웹사이트의 실제 내용과 계속 일치하도록 관리하세요. 이 파일 하나만으로 측정 가능한 변화가 생길 것이라고 기대하지 말고, 더 근본적인 작업보다 우선하지도 마세요.
먼저 무엇을 점검해야 할까요?
- robots.txt를 열어 의도치 않게 AI 크롤러를 차단하는 규칙이 있는지 확인합니다.
- 업체의 문서를 바탕으로 크롤러 유형별 정책을 정합니다.
- 방화벽과 봇 차단 설정을 확인합니다.
- 로그인 없이도 주요 콘텐츠를 텍스트로 읽을 수 있는지 확인합니다.
- 위 단계를 마친 뒤 llms.txt를 검토합니다.
- 주기적으로 다시 점검합니다.
접근성은 첫 번째 레이어일 뿐입니다. AI가 브랜드를 정확하게 이해하고 인용할 이유를 갖게 하려면 엔티티 기반, 인용할 만한 콘텐츠, 여러 출처에서의 존재감도 필요합니다. G.E.O 프레임워크나 GEONGON의 엔티티 & 스키마 서비스에 대해 읽어 보세요.