O robots.txt é o arquivo que um site usa para dizer aos rastreadores (crawlers), inclusive os operados por empresas de IA, quais partes do site eles podem acessar. O llms.txt é uma convenção proposta: um arquivo Markdown na raiz do site que resume o site para modelos de linguagem. Nenhum dos dois garante que uma marca vai aparecer nas respostas da IA: o robots.txt é um pedido que os rastreadores bem-comportados respeitam, e o llms.txt não é um padrão oficial, com suporte que varia de um provedor para outro.
Principais pontos
- O robots.txt diz quais rastreadores são convidados a entrar. Bloquear rastreadores de IA por engano pode impedir que seu conteúdo seja usado nas respostas.
- Alguns rastreadores coletam dados para treinar modelos; outros buscam páginas para responder à pergunta de um usuário. Decida sobre cada tipo separadamente.
- O llms.txt é uma proposta: de baixo custo, opcional e sem garantia de nada.
- O comportamento dos rastreadores muda com o tempo, então consulte a documentação oficial de cada provedor.
O que o robots.txt tem a ver com a IA?
O robots.txt fica na raiz de um site e contém regras por nome de rastreador (user agent): quais rastreadores podem entrar e de quais seções devem ficar de fora. As empresas de IA publicam os nomes que usam para que os donos de sites possam definir regras específicas para eles. Alguns que você provavelmente vai encontrar:
- GPTBot
- OAI-SearchBot
- ChatGPT-User
- ClaudeBot
- PerplexityBot
- Google-Extended
A sintaxe é a mesma de qualquer outra regra do robots.txt:
User-agent: <nome do rastreador>
Disallow: /pasta-que-os-rastreadores-devem-ignorar/
Cada provedor descreve para que serve cada nome na sua própria documentação. A lista e o comportamento podem mudar, então não confie em nenhum artigo, incluindo este, no lugar da documentação original.
Qual é a diferença entre rastreadores de treinamento e rastreadores de resposta?
Em linhas gerais, há duas finalidades principais:
- Coletar dados para treinar modelos. O conteúdo se torna material de aprendizado para versões futuras de um modelo.
- Buscar páginas para responder a uma pergunta. Quando um usuário pergunta algo, o sistema encontra e lê páginas relevantes para compor a resposta, muitas vezes com as fontes indicadas.
A distinção importa na hora de decidir. Uma regra genérica contra todos os rastreadores de IA pode, sem querer, tirar um site das respostas baseadas em recuperação, quando tudo o que a empresa realmente queria era limitar o uso do seu conteúdo para treinamento. Quais tipos permitir ou bloquear é uma decisão de negócio de cada organização; o que se deve evitar é bloquear sem saber o que se está bloqueando.
O que o robots.txt pode e não pode fazer?
- É um pedido, não um mecanismo de controle. Os rastreadores bem-comportados o respeitam; o arquivo não impede tecnicamente o acesso. Conteúdo que precisa de proteção deve ficar atrás de login ou de controles de acesso.
- Permitido não significa usado. Abrir a porta aos rastreadores é apenas uma condição prévia. Se o conteúdo vai ser escolhido ainda depende da sua qualidade e relevância. Veja como a IA escolhe suas fontes.
- Não é a única barreira. Um firewall, um serviço de proteção contra bots ou a configuração do servidor também podem bloquear rastreadores de IA, mesmo quando o robots.txt os permite.
O que é o llms.txt?
O llms.txt é uma convenção proposta: colocar na raiz de um site um arquivo Markdown que resume o site para modelos de linguagem. Ele normalmente contém o nome do site, uma breve introdução e uma lista de links para as páginas mais importantes, cada uma com uma descrição curta. A ideia é entregar ao modelo um mapa compacto e legível, em vez de deixá-lo percorrer sozinho toda a estrutura do site.
O que o llms.txt não é?
- Não é um padrão oficial. Por enquanto, é uma proposta.
- Não é suportado por todos os provedores de IA. A adoção varia, e você não deve presumir que algum assistente de IA específico vai ler o arquivo.
- Não é uma garantia. Ter um llms.txt não significa ser citado ou mencionado com mais frequência.
- Não substitui o robots.txt. O llms.txt não controla o acesso dos rastreadores.
- Não substitui um bom conteúdo. Um resumo organizado não compensa páginas sem informações específicas.
Vale a pena criar um llms.txt?
Pode valer, desde que você o trate como uma tarefa pequena e opcional. O custo é baixo: um arquivo de texto, atualizado quando a estrutura do site muda. Se fizer, mantenha o arquivo curto e preciso, use links apenas para páginas canônicas e garanta que ele continue coerente com o que realmente está no site. Não espere que esse arquivo, sozinho, produza uma mudança mensurável e não o coloque à frente de trabalhos mais fundamentais.
O que verificar primeiro?
- Abra o robots.txt e procure regras que bloqueiem rastreadores de IA sem intenção.
- Defina uma política para cada tipo de rastreador com base na documentação dos provedores.
- Verifique as configurações do firewall e da proteção contra bots.
- Garanta que o conteúdo principal possa ser lido como texto, sem login.
- Considere o llms.txt depois de concluir as etapas acima.
- Revise periodicamente.
A acessibilidade é apenas a primeira camada. Para que a IA entenda uma marca corretamente e tenha motivos para citá-la, a marca também precisa de uma base de entidades, conteúdo citável e presença em várias fontes. Leia sobre o framework G.E.O ou sobre o serviço de Entidade & Schema da GEONGON.