Insight

llms.txt e crawler AI: cosa sono e cosa non sono

robots.txt per i crawler AI e la proposta llms.txt: cosa sono, cosa possono fare e cosa non possono fare per la presenza di un brand nell’AI.

robots.txt è il file che un sito web usa per indicare ai crawler, compresi quelli gestiti dalle aziende di AI, a quali parti del sito possono accedere. llms.txt è una convenzione proposta: un file Markdown nella root del sito che lo riassume per i modelli linguistici. Nessuno dei due garantisce che un brand comparirà nelle risposte dell’AI: robots.txt è una richiesta che i crawler corretti rispettano, mentre llms.txt non è uno standard ufficiale e il suo supporto varia da un fornitore all’altro.

In sintesi

  • robots.txt indica quali crawler sono invitati a entrare. Bloccare per errore i crawler AI può impedire che i suoi contenuti vengano usati nelle risposte.
  • Alcuni crawler raccolgono dati per addestrare i modelli; altri recuperano pagine per rispondere alla domanda di un utente. Decida separatamente per ciascun tipo.
  • llms.txt è una proposta: poco costosa, facoltativa e senza alcuna garanzia.
  • Il comportamento dei crawler cambia nel tempo, quindi consulti la documentazione ufficiale di ciascun fornitore.

Che cosa c’entra robots.txt con l’AI?

robots.txt si trova nella root di un sito web e contiene regole per nome del crawler (user agent): quali crawler possono entrare e da quali sezioni devono stare lontani. Le aziende di AI pubblicano i nomi che utilizzano, così che i proprietari dei siti possano impostare regole specifiche. Eccone alcuni in cui è probabile imbattersi:

  • GPTBot
  • OAI-SearchBot
  • ChatGPT-User
  • ClaudeBot
  • PerplexityBot
  • Google-Extended

La sintassi è la stessa di qualsiasi altra regola di robots.txt:

User-agent: <nome del crawler>
Disallow: /una-cartella-da-far-ignorare-ai-crawler/

Ogni fornitore descrive a cosa serve ciascun nome nella propria documentazione. L’elenco e il comportamento possono cambiare, quindi non si affidi a nessun articolo, compreso questo, al posto della documentazione originale.

In cosa i crawler per l’addestramento si differenziano da quelli per le risposte?

In linea generale, gli scopi principali sono due:

  • Raccogliere dati per addestrare i modelli. Il contenuto diventa materiale di apprendimento per le versioni successive di un modello.
  • Recuperare pagine per rispondere a una domanda. Quando un utente chiede qualcosa, il sistema trova e legge le pagine pertinenti per comporre la risposta, spesso indicando le fonti.

La distinzione conta quando si prendono decisioni. Una regola generale contro tutti i crawler AI può escludere involontariamente un sito dalle risposte basate sul recupero di pagine, quando l’azienda voleva solo limitare l’uso dei propri contenuti per l’addestramento. Quali tipi consentire o bloccare è una decisione di business di ciascuna organizzazione; ciò che va evitato è bloccare senza sapere cosa si sta bloccando.

Cosa può fare robots.txt e cosa no?

  • È una richiesta, non un meccanismo di imposizione. I crawler corretti la rispettano; il file non impedisce tecnicamente l’accesso. I contenuti da proteggere devono trovarsi dietro un login o controlli di accesso.
  • Consentito non significa utilizzato. Aprire la porta ai crawler è solo un prerequisito. Che un contenuto venga scelto dipende comunque dalla sua qualità e pertinenza. Legga come l’AI sceglie le sue fonti.
  • Non è l’unica barriera. Anche un firewall, un servizio di protezione dai bot o la configurazione del server possono bloccare i crawler AI, pur se robots.txt li consente.

Che cos’è llms.txt?

llms.txt è una convenzione proposta: inserire nella root di un sito web un file Markdown che riassume il sito per i modelli linguistici. Di solito contiene il nome del sito, una breve presentazione e un elenco di link alle pagine più importanti, ciascuno con una breve descrizione. L’idea è fornire a un modello una mappa compatta e leggibile, invece di lasciarlo orientarsi da solo nell’intera struttura del sito.

Che cosa non è llms.txt?

  • Non è uno standard ufficiale. Per ora è una proposta.
  • Non è supportato da tutti i fornitori di AI. L’adozione varia e non bisogna dare per scontato che un determinato assistente AI legga il file.
  • Non è una garanzia. Avere un llms.txt non significa essere citati o menzionati più spesso.
  • Non sostituisce robots.txt. llms.txt non controlla l’accesso dei crawler.
  • Non sostituisce buoni contenuti. Un riepilogo ordinato non può compensare pagine prive di informazioni specifiche.

Conviene creare un llms.txt?

Può farlo, a patto di considerarlo un’attività piccola e facoltativa. Il costo è basso: un file di testo, da aggiornare quando cambia la struttura del sito. Se decide di farlo, mantenga il file breve e accurato, inserisca link solo a pagine canoniche e si assicuri che resti coerente con ciò che è realmente presente sul sito. Non si aspetti che questo file da solo produca un cambiamento misurabile e non lo anteponga a un lavoro più fondamentale.

Cosa controllare per primo?

  1. Apra robots.txt e cerchi regole che bloccano involontariamente i crawler AI.
  2. Definisca una policy per ciascun tipo di crawler sulla base della documentazione dei fornitori.
  3. Controlli le impostazioni del firewall e della protezione dai bot.
  4. Si assicuri che il contenuto principale sia leggibile come testo senza login.
  5. Valuti llms.txt dopo aver completato i passaggi precedenti.
  6. Riesamini la situazione periodicamente.

L’accessibilità è solo il primo livello. Perché l’AI comprenda correttamente un brand e abbia un motivo per citarlo, il brand ha bisogno anche di fondamenta dell’entità, contenuti citabili e presenza su più fonti. Può approfondire il framework G.E.O o il servizio Entità & Schema di GEONGON.

Articoli correlati

  • 19/11/2026 · 4min di lettura

    Che cos’è la GEO? La Generative Engine Optimization spiegata

    Che cos’è la GEO (Generative Engine Optimization), perché è importante oggi e quali attività comprende concretamente un programma GEO.

  • 19/11/2026 · 4min di lettura

    Come sceglie l’AI le fonti da citare?

    In linea generale, i sistemi di AI tendono a usare pagine accessibili, ben strutturate, specifiche e coerenti con quanto riportato dalle altre fonti.

  • 19/11/2026 · 4min di lettura

    Come si misura la visibilità AI?

    Come misurare la presenza di un brand nelle risposte dell’AI con un set fisso di prompt e quattro metriche: menzione, citazione, share of voice e sentiment.

Che posizione occupa oggi il suo brand nelle risposte dell’AI?

Iniziamo con una conversazione e una prima analisi della visibilità del suo brand sulle piattaforme AI.

Richieda un audit di visibilità AI