Articles

llms.txt i rastrejadors d’IA: què són i què no són

robots.txt per als rastrejadors d’IA i la proposta llms.txt: què són, què poden fer i què no poden fer per la presència d’una marca a la IA.

robots.txt és el fitxer que fa servir un lloc web per indicar als rastrejadors (crawlers), inclosos els de les empreses d’IA, a quines parts del lloc poden accedir. llms.txt és una convenció proposada: un fitxer Markdown a l’arrel del lloc que el resumeix per als models de llenguatge. Cap dels dos no garanteix que una marca aparegui en les respostes de la IA: robots.txt és una petició que segueixen els rastrejadors que es comporten correctament, i llms.txt no és un estàndard oficial i la compatibilitat varia d’un proveïdor a un altre.

Punts clau

  • robots.txt indica quins rastrejadors estan convidats a entrar. Bloquejar per error els rastrejadors d’IA pot impedir que el vostre contingut es faci servir en les respostes.
  • Alguns rastrejadors recopilen dades per entrenar models; d’altres obtenen pàgines per respondre la pregunta d’un usuari. Decidiu sobre cada tipus per separat.
  • llms.txt és una proposta: de cost baix, opcional i sense cap garantia.
  • El comportament dels rastrejadors canvia amb el temps, així que consulteu la documentació oficial de cada proveïdor.

Què té a veure robots.txt amb la IA?

robots.txt es troba a l’arrel d’un lloc web i conté regles per nom de rastrejador (user agent): quins rastrejadors poden entrar i de quines seccions s’han de mantenir allunyats. Les empreses d’IA publiquen els noms que fan servir perquè els propietaris de llocs web hi puguin fixar regles específiques. Alguns que probablement trobareu:

  • GPTBot
  • OAI-SearchBot
  • ChatGPT-User
  • ClaudeBot
  • PerplexityBot
  • Google-Extended

La sintaxi és la mateixa que per a qualsevol altra regla de robots.txt:

User-agent: <nom del rastrejador>
Disallow: /una-carpeta-que-els-rastrejadors-no-han-de-visitar/

Cada proveïdor descriu per a què serveix cada nom a la seva pròpia documentació. La llista i el comportament poden canviar, així que no us fieu de cap article, inclòs aquest, en lloc de la documentació original.

En què es diferencien els rastrejadors d’entrenament dels de resposta?

En termes generals, hi ha dos propòsits principals:

  • Recopilar dades per entrenar models. El contingut es converteix en material d’aprenentatge per a versions posteriors d’un model.
  • Obtenir pàgines per respondre una pregunta. Quan un usuari pregunta alguna cosa, el sistema cerca i llegeix pàgines rellevants per elaborar la resposta, sovint amb les fonts adjuntes.

La distinció és important a l’hora de prendre decisions. Una regla general contra tots els rastrejadors d’IA pot eliminar sense voler un lloc web de les respostes basades en la recuperació, quan l’únic que l’empresa volia realment era limitar l’ús del seu contingut per a l’entrenament. Quins tipus permetre o bloquejar és una decisió de negoci de cada organització; el que cal evitar és bloquejar sense saber què s’està bloquejant.

Què pot fer robots.txt i què no?

  • És una petició, no un mecanisme de control. Els rastrejadors que es comporten correctament la respecten; el fitxer no impedeix tècnicament l’accés. El contingut que necessita protecció ha d’estar darrere d’un inici de sessió o de controls d’accés.
  • Permès no vol dir utilitzat. Obrir la porta als rastrejadors és només una condició prèvia. Que el contingut es triï continua depenent de la seva qualitat i rellevància. Consulteu com tria la IA les fonts.
  • No és l’única barrera. Un tallafoc, un servei de protecció contra bots o la configuració del servidor també poden bloquejar els rastrejadors d’IA encara que robots.txt els permeti l’accés.

Què és llms.txt?

llms.txt és una convenció proposada: col·locar a l’arrel d’un lloc web un fitxer Markdown que resumeixi el lloc per als models de llenguatge. Sol contenir el nom del lloc, una breu introducció i una llista d’enllaços a les pàgines més importants, cadascuna amb una descripció breu. La idea és oferir a un model un mapa compacte i llegible en lloc de deixar que recorri tota l’estructura del lloc pel seu compte.

Què no és llms.txt?

  • No és un estàndard oficial. Ara com ara és una proposta.
  • No tots els proveïdors d’IA l’admeten. L’adopció varia, i no heu de donar per fet que un assistent d’IA concret llegirà el fitxer.
  • No és una garantia. Tenir un llms.txt no vol dir ser citat o esmentat més sovint.
  • No substitueix robots.txt. llms.txt no controla l’accés dels rastrejadors.
  • No substitueix un bon contingut. Un resum endreçat no compensa unes pàgines a les quals falta informació concreta.

Hauríeu de crear un llms.txt?

Podeu fer-ho, sempre que ho tracteu com una tasca petita i opcional. El cost és baix: un fitxer de text que s’actualitza quan canvia l’estructura del lloc. Si ho feu, mantingueu el fitxer breu i exacte, enllaceu només a pàgines canòniques i assegureu-vos que continua sent coherent amb el que hi ha realment al lloc web. No espereu que aquest fitxer per si sol produeixi un canvi mesurable, i no el poseu per davant d’una feina més fonamental.

Què hauríeu de revisar primer?

  1. Obriu robots.txt i busqueu regles que bloquegin els rastrejadors d’IA sense voler.
  2. Definiu una política per a cada tipus de rastrejador a partir de la documentació dels proveïdors.
  3. Reviseu la configuració del vostre tallafoc i de la protecció contra bots.
  4. Assegureu-vos que el contingut principal es pot llegir com a text sense iniciar sessió.
  5. Considereu llms.txt un cop completats els passos anteriors.
  6. Reviseu-ho tot periòdicament.

L’accessibilitat és només la primera capa. Perquè la IA entengui correctament una marca i tingui un motiu per citar-la, la marca també necessita una base d’entitat, contingut citable i presència en moltes fonts. Podeu llegir sobre el marc G.E.O o sobre el servei d’Entitats i Schema de GEONGON.

Articles relacionats

  • 19/11/2026 · 4min de lectura

    Com es mesura la visibilitat en IA?

    Com mesurar la presència d’una marca en les respostes de la IA amb un conjunt fix de prompts i quatre mètriques: menció, citació, share of voice i sentiment.

  • 19/11/2026 · 4min de lectura

    Com tria la IA quines fonts cita?

    En termes generals, els sistemes d’IA tendeixen a fer servir pàgines accessibles, ben estructurades, concretes i coherents amb el que diuen altres fonts.

  • 19/11/2026 · 4min de lectura

    GEO vs. SEO: en què es diferencien i com es complementen

    El SEO optimitza la posició d’una pàgina, el GEO optimitza que una marca aparegui en les respostes de la IA, i tots dos funcionen millor junts.

On és avui la vostra marca en les respostes de la IA?

Comenceu amb una conversa i una primera anàlisi de la visibilitat de la vostra marca a les plataformes d’IA.

Demanar una auditoria d’IA