Inzichten

llms.txt en AI-crawlers: wat ze wel en niet zijn

robots.txt voor AI-crawlers en het llms.txt-voorstel: wat ze zijn, wat ze kunnen en wat ze niet kunnen doen voor de aanwezigheid van een merk in AI.

robots.txt is het bestand waarmee een website crawlers, ook die van AI-bedrijven, laat weten welke delen van de site ze mogen bezoeken. llms.txt is een voorgestelde conventie: een Markdown-bestand in de root van de site dat de site samenvat voor taalmodellen. Geen van beide garandeert dat een merk in AI-antwoorden verschijnt: robots.txt is een verzoek waaraan nette crawlers zich houden, en llms.txt is geen officiële standaard; de ondersteuning verschilt per aanbieder.

De belangrijkste punten

  • robots.txt bepaalt welke crawlers welkom zijn. Wie AI-crawlers per ongeluk blokkeert, kan voorkomen dat zijn content in antwoorden wordt gebruikt.
  • Sommige crawlers verzamelen data om modellen te trainen; andere halen pagina’s op om de vraag van een gebruiker te beantwoorden. Neem over elk type een aparte beslissing.
  • llms.txt is een voorstel: goedkoop, optioneel en zonder enige garantie.
  • Het gedrag van crawlers verandert in de loop van de tijd, dus raadpleeg de officiële documentatie van elke aanbieder.

Wat heeft robots.txt met AI te maken?

robots.txt staat in de root van een website en bevat regels per crawlernaam (user agent): welke crawlers binnen mogen en van welke onderdelen ze moeten wegblijven. AI-bedrijven publiceren de namen die ze gebruiken, zodat website-eigenaren er specifieke regels voor kunnen instellen. Enkele die je waarschijnlijk tegenkomt:

  • GPTBot
  • OAI-SearchBot
  • ChatGPT-User
  • ClaudeBot
  • PerplexityBot
  • Google-Extended

De syntaxis is dezelfde als bij elke andere regel in robots.txt:

User-agent: <naam van de crawler>
Disallow: /een-map-die-crawlers-moeten-overslaan/

Elke aanbieder beschrijft in zijn eigen documentatie waarvoor elke naam dient. De lijst en het gedrag kunnen veranderen, dus vertrouw niet op een artikel, ook niet op dit artikel, in plaats van op de oorspronkelijke documentatie.

Wat is het verschil tussen trainingscrawlers en antwoordcrawlers?

Grofweg zijn er twee hoofddoelen:

  • Data verzamelen om modellen te trainen. De content wordt leermateriaal voor latere versies van een model.
  • Pagina’s ophalen om een vraag te beantwoorden. Wanneer een gebruiker iets vraagt, zoekt en leest het systeem relevante pagina’s om zijn antwoord samen te stellen, vaak met bronvermelding.

Dit onderscheid is belangrijk wanneer je beslissingen neemt. Een algemene regel tegen alle AI-crawlers kan een website onbedoeld uit antwoorden op basis van opgehaalde pagina’s halen, terwijl het bedrijf eigenlijk alleen het gebruik van zijn content voor training wilde beperken. Welke typen je toelaat of blokkeert, is de eigen zakelijke beslissing van elke organisatie; wat je wilt vermijden, is blokkeren zonder te weten wat je blokkeert.

Wat kan robots.txt wel en niet?

  • Het is een verzoek, geen handhavingsmechanisme. Nette crawlers houden zich eraan; technisch houdt het bestand toegang niet tegen. Content die beschermd moet worden, hoort achter een login of toegangscontrole.
  • Toegestaan betekent niet gebruikt. De deur openzetten voor crawlers is alleen een voorwaarde. Of content wordt gekozen, hangt nog steeds af van de kwaliteit en relevantie. Zie hoe AI zijn bronnen kiest.
  • Het is niet de enige drempel. Een firewall, een botbeschermingsdienst of de serverconfiguratie kan AI-crawlers ook blokkeren, zelfs als robots.txt ze toestaat.

Wat is llms.txt?

llms.txt is een voorgestelde conventie: plaats in de root van een website een Markdown-bestand dat de site samenvat voor taalmodellen. Het bevat doorgaans de naam van de site, een korte introductie en een lijst met links naar de belangrijkste pagina’s, elk met een korte omschrijving. Het idee is een model een compacte, leesbare kaart te geven in plaats van het zelf de volledige sitestructuur te laten doorgronden.

Wat is llms.txt niet?

  • Geen officiële standaard. Voorlopig is het een voorstel.
  • Niet ondersteund door elke AI-aanbieder. De adoptie verschilt, en je moet er niet van uitgaan dat een bepaalde AI-assistent het bestand leest.
  • Geen garantie. Een llms.txt hebben betekent niet dat je vaker wordt geciteerd of genoemd.
  • Geen vervanging van robots.txt. llms.txt regelt geen toegang van crawlers.
  • Geen vervanging van goede content. Een nette samenvatting compenseert geen pagina’s zonder specifieke informatie.

Moet je een llms.txt maken?

Dat kan, zolang je het als een kleine, optionele taak ziet. De kosten zijn laag: één tekstbestand, dat je bijwerkt wanneer de sitestructuur verandert. Doe je het, houd het bestand dan kort en juist, link alleen naar canonieke pagina’s en zorg dat het consistent blijft met wat er echt op de website staat. Verwacht niet dat dit bestand op zichzelf een meetbare verandering oplevert, en geef het geen voorrang boven fundamenteler werk.

Wat controleer je eerst?

  1. Open robots.txt en zoek naar regels die AI-crawlers onbedoeld blokkeren.
  2. Bepaal een beleid voor elk type crawler op basis van de documentatie van de aanbieders.
  3. Controleer de instellingen van je firewall en botbescherming.
  4. Zorg dat de belangrijkste content zonder login als tekst leesbaar is.
  5. Overweeg llms.txt zodra de stappen hierboven zijn afgerond.
  6. Controleer het geheel periodiek opnieuw.

Toegankelijkheid is alleen de eerste laag. Om AI een merk correct te laten begrijpen en een reden te geven om het te citeren, heeft het merk ook een fundament van entiteiten nodig, citeerbare content en aanwezigheid in veel bronnen. Lees meer over het G.E.O-framework of de dienst Entiteiten & schema van GEONGON.

Gerelateerde artikelen

  • 19-11-2026 · 4min leestijd

    GEO vs. SEO: de verschillen en hoe ze samenwerken

    SEO optimaliseert waar een pagina in de zoekresultaten rankt, GEO of een merk in AI-antwoorden verschijnt. Samen werken ze het best.

  • 19-11-2026 · 4min leestijd

    Hoe kiest AI welke bronnen het citeert?

    In grote lijnen gebruiken AI-systemen vooral pagina’s die toegankelijk, helder gestructureerd, specifiek en consistent met andere bronnen zijn.

  • 19-11-2026 · 4min leestijd

    Hoe meet je AI-zichtbaarheid?

    Zo meet je de aanwezigheid van een merk in AI-antwoorden, met een vaste promptset en vier metrics: vermelding, citatie, share of voice en sentiment.

Waar staat jouw merk vandaag in AI-antwoorden?

Begin met een gesprek en een eerste blik op hoe zichtbaar je merk is op AI-platforms.

AI-zichtbaarheidsaudit aanvragen