robots.txt è il file che un sito web usa per indicare ai crawler, compresi quelli gestiti dalle aziende di AI, a quali parti del sito possono accedere. llms.txt è una convenzione proposta: un file Markdown nella root del sito che lo riassume per i modelli linguistici. Nessuno dei due garantisce che un brand comparirà nelle risposte dell’AI: robots.txt è una richiesta che i crawler corretti rispettano, mentre llms.txt non è uno standard ufficiale e il suo supporto varia da un fornitore all’altro.
In sintesi
- robots.txt indica quali crawler sono invitati a entrare. Bloccare per errore i crawler AI può impedire che i suoi contenuti vengano usati nelle risposte.
- Alcuni crawler raccolgono dati per addestrare i modelli; altri recuperano pagine per rispondere alla domanda di un utente. Decida separatamente per ciascun tipo.
- llms.txt è una proposta: poco costosa, facoltativa e senza alcuna garanzia.
- Il comportamento dei crawler cambia nel tempo, quindi consulti la documentazione ufficiale di ciascun fornitore.
Che cosa c’entra robots.txt con l’AI?
robots.txt si trova nella root di un sito web e contiene regole per nome del crawler (user agent): quali crawler possono entrare e da quali sezioni devono stare lontani. Le aziende di AI pubblicano i nomi che utilizzano, così che i proprietari dei siti possano impostare regole specifiche. Eccone alcuni in cui è probabile imbattersi:
- GPTBot
- OAI-SearchBot
- ChatGPT-User
- ClaudeBot
- PerplexityBot
- Google-Extended
La sintassi è la stessa di qualsiasi altra regola di robots.txt:
User-agent: <nome del crawler>
Disallow: /una-cartella-da-far-ignorare-ai-crawler/
Ogni fornitore descrive a cosa serve ciascun nome nella propria documentazione. L’elenco e il comportamento possono cambiare, quindi non si affidi a nessun articolo, compreso questo, al posto della documentazione originale.
In cosa i crawler per l’addestramento si differenziano da quelli per le risposte?
In linea generale, gli scopi principali sono due:
- Raccogliere dati per addestrare i modelli. Il contenuto diventa materiale di apprendimento per le versioni successive di un modello.
- Recuperare pagine per rispondere a una domanda. Quando un utente chiede qualcosa, il sistema trova e legge le pagine pertinenti per comporre la risposta, spesso indicando le fonti.
La distinzione conta quando si prendono decisioni. Una regola generale contro tutti i crawler AI può escludere involontariamente un sito dalle risposte basate sul recupero di pagine, quando l’azienda voleva solo limitare l’uso dei propri contenuti per l’addestramento. Quali tipi consentire o bloccare è una decisione di business di ciascuna organizzazione; ciò che va evitato è bloccare senza sapere cosa si sta bloccando.
Cosa può fare robots.txt e cosa no?
- È una richiesta, non un meccanismo di imposizione. I crawler corretti la rispettano; il file non impedisce tecnicamente l’accesso. I contenuti da proteggere devono trovarsi dietro un login o controlli di accesso.
- Consentito non significa utilizzato. Aprire la porta ai crawler è solo un prerequisito. Che un contenuto venga scelto dipende comunque dalla sua qualità e pertinenza. Legga come l’AI sceglie le sue fonti.
- Non è l’unica barriera. Anche un firewall, un servizio di protezione dai bot o la configurazione del server possono bloccare i crawler AI, pur se robots.txt li consente.
Che cos’è llms.txt?
llms.txt è una convenzione proposta: inserire nella root di un sito web un file Markdown che riassume il sito per i modelli linguistici. Di solito contiene il nome del sito, una breve presentazione e un elenco di link alle pagine più importanti, ciascuno con una breve descrizione. L’idea è fornire a un modello una mappa compatta e leggibile, invece di lasciarlo orientarsi da solo nell’intera struttura del sito.
Che cosa non è llms.txt?
- Non è uno standard ufficiale. Per ora è una proposta.
- Non è supportato da tutti i fornitori di AI. L’adozione varia e non bisogna dare per scontato che un determinato assistente AI legga il file.
- Non è una garanzia. Avere un llms.txt non significa essere citati o menzionati più spesso.
- Non sostituisce robots.txt. llms.txt non controlla l’accesso dei crawler.
- Non sostituisce buoni contenuti. Un riepilogo ordinato non può compensare pagine prive di informazioni specifiche.
Conviene creare un llms.txt?
Può farlo, a patto di considerarlo un’attività piccola e facoltativa. Il costo è basso: un file di testo, da aggiornare quando cambia la struttura del sito. Se decide di farlo, mantenga il file breve e accurato, inserisca link solo a pagine canoniche e si assicuri che resti coerente con ciò che è realmente presente sul sito. Non si aspetti che questo file da solo produca un cambiamento misurabile e non lo anteponga a un lavoro più fondamentale.
Cosa controllare per primo?
- Apra robots.txt e cerchi regole che bloccano involontariamente i crawler AI.
- Definisca una policy per ciascun tipo di crawler sulla base della documentazione dei fornitori.
- Controlli le impostazioni del firewall e della protezione dai bot.
- Si assicuri che il contenuto principale sia leggibile come testo senza login.
- Valuti llms.txt dopo aver completato i passaggi precedenti.
- Riesamini la situazione periodicamente.
L’accessibilità è solo il primo livello. Perché l’AI comprenda correttamente un brand e abbia un motivo per citarlo, il brand ha bisogno anche di fondamenta dell’entità, contenuti citabili e presenza su più fonti. Può approfondire il framework G.E.O o il servizio Entità & Schema di GEONGON.