Analyses

llms.txt et crawlers IA : ce qu’ils sont et ce qu’ils ne sont pas

robots.txt pour les crawlers IA et la proposition llms.txt : leur rôle, ce qu’ils permettent et leurs limites pour la présence d’une marque dans l’IA.

robots.txt est le fichier qu’un site web utilise pour indiquer aux crawlers, y compris ceux des entreprises d’IA, les parties du site auxquelles ils peuvent accéder. llms.txt est une convention proposée : un fichier Markdown placé à la racine du site, qui le résume à l’intention des modèles de langage. Aucun des deux ne garantit qu’une marque apparaîtra dans les réponses de l’IA : robots.txt est une demande que respectent les crawlers bien conçus, et llms.txt n’est pas un standard officiel, sa prise en charge variant d’un fournisseur à l’autre.

À retenir

  • robots.txt indique quels crawlers sont invités à entrer. Bloquer les crawlers IA par erreur peut empêcher vos contenus d’être utilisés dans les réponses.
  • Certains crawlers collectent des données pour entraîner des modèles ; d’autres récupèrent des pages pour répondre à la question d’un utilisateur. Décidez pour chaque type séparément.
  • llms.txt est une proposition : peu coûteuse, facultative, et qui ne garantit rien.
  • Le comportement des crawlers évolue avec le temps : consultez la documentation officielle de chaque fournisseur.

Quel rapport entre robots.txt et l’IA ?

robots.txt se trouve à la racine d’un site web et contient des règles par nom de crawler (user agent) : quels crawlers peuvent entrer, et de quelles sections ils doivent rester à l’écart. Les entreprises d’IA publient les noms qu’elles utilisent pour que les propriétaires de sites puissent leur appliquer des règles spécifiques. En voici quelques-uns que vous risquez de croiser :

  • GPTBot
  • OAI-SearchBot
  • ChatGPT-User
  • ClaudeBot
  • PerplexityBot
  • Google-Extended

La syntaxe est la même que pour toute autre règle robots.txt :

User-agent: <nom du crawler>
Disallow: /un-dossier-que-les-crawlers-doivent-ignorer/

Chaque fournisseur décrit l’usage de chaque nom dans sa propre documentation. La liste et le comportement peuvent changer : ne vous fiez à aucun article, celui-ci compris, à la place de la documentation d’origine.

En quoi les crawlers d’entraînement diffèrent-ils des crawlers de réponse ?

Dans les grandes lignes, ils servent deux finalités principales :

  • Collecter des données pour entraîner des modèles. Le contenu devient un matériau d’apprentissage pour les versions ultérieures d’un modèle.
  • Récupérer des pages pour répondre à une question. Quand un utilisateur pose une question, le système trouve et lit les pages pertinentes pour composer sa réponse, souvent avec les sources à l’appui.

La distinction compte au moment de décider. Une règle générale contre tous les crawlers IA peut, sans le vouloir, retirer un site des réponses fondées sur la récupération de pages, alors que l’entreprise voulait seulement limiter l’utilisation de ses contenus pour l’entraînement. Le choix des types à autoriser ou à bloquer relève de la décision business propre à chaque organisation ; ce qu’il faut éviter, c’est de bloquer sans savoir ce que l’on bloque.

Que peut faire robots.txt, et que ne peut-il pas faire ?

  • C’est une demande, pas un mécanisme de contrôle. Les crawlers bien conçus la respectent ; le fichier n’empêche pas techniquement l’accès. Les contenus à protéger doivent se trouver derrière une connexion ou des contrôles d’accès.
  • Autorisé ne veut pas dire utilisé. Ouvrir la porte aux crawlers n’est qu’une condition préalable. Qu’un contenu soit retenu dépend toujours de sa qualité et de sa pertinence. Voir comment l’IA choisit ses sources.
  • Ce n’est pas le seul obstacle. Un pare-feu, un service de protection contre les bots ou la configuration du serveur peuvent aussi bloquer les crawlers IA, même lorsque robots.txt les autorise.

Qu’est-ce que llms.txt ?

llms.txt est une convention proposée : placer à la racine d’un site web un fichier Markdown qui résume le site à l’intention des modèles de langage. Il contient généralement le nom du site, une courte présentation et une liste de liens vers les pages les plus importantes, chacune accompagnée d’une brève description. L’idée est de fournir à un modèle une carte compacte et lisible, au lieu de le laisser parcourir seul toute la structure du site.

Ce que llms.txt n’est pas

  • Pas un standard officiel. Pour l’instant, c’est une proposition.
  • Pas pris en charge par tous les fournisseurs d’IA. L’adoption varie, et il ne faut pas supposer qu’un assistant IA donné lira le fichier.
  • Pas une garantie. Avoir un llms.txt ne signifie pas être cité ou mentionné plus souvent.
  • Pas un substitut à robots.txt. llms.txt ne contrôle pas l’accès des crawlers.
  • Pas un substitut à de bons contenus. Un résumé soigné ne peut pas compenser des pages dépourvues d’informations précises.

Faut-il créer un llms.txt ?

Vous pouvez le faire, à condition de le considérer comme une petite tâche facultative. Le coût est faible : un fichier texte, mis à jour quand la structure du site change. Si vous le faites, gardez le fichier court et exact, ne renvoyez que vers des pages canoniques et veillez à ce qu’il reste cohérent avec ce qui figure réellement sur le site. N’attendez pas de ce seul fichier un changement mesurable, et ne le faites pas passer avant un travail plus fondamental.

Que vérifier en premier ?

  1. Ouvrez robots.txt et cherchez les règles qui bloquent involontairement les crawlers IA.
  2. Définissez une politique pour chaque type de crawler en vous appuyant sur la documentation des fournisseurs.
  3. Vérifiez les réglages de votre pare-feu et de votre protection contre les bots.
  4. Assurez-vous que le contenu principal est lisible sous forme de texte, sans connexion.
  5. Envisagez llms.txt une fois les étapes ci-dessus réalisées.
  6. Faites le point régulièrement.

L’accessibilité n’est que la première couche. Pour que l’IA comprenne correctement une marque et ait une raison de la citer, la marque a aussi besoin de fondations d’entité, de contenus citables et d’une présence sur de multiples sources. Découvrez le framework G.E.O ou le service Entités & Schema de GEONGON.

Articles associés

Quelle place occupe votre marque dans les réponses de l’IA aujourd’hui ?

Commencez par un échange et un premier aperçu de la visibilité de votre marque sur les plateformes d’IA.

Demander un audit de visibilité IA