robots.txt ist die Datei, mit der eine Website Crawlern – auch denen von KI-Unternehmen – mitteilt, auf welche Bereiche sie zugreifen dürfen. llms.txt ist eine vorgeschlagene Konvention: eine Markdown-Datei im Stammverzeichnis der Website, die die Website für Sprachmodelle zusammenfasst. Keine der beiden garantiert, dass eine Marke in KI-Antworten erscheint: robots.txt ist eine Bitte, an die sich seriöse Crawler halten, und llms.txt ist kein offizieller Standard; die Unterstützung variiert von Anbieter zu Anbieter.
Das Wichtigste in Kürze
- robots.txt legt fest, welche Crawler willkommen sind. Wer KI-Crawler versehentlich blockiert, kann verhindern, dass seine Inhalte in Antworten genutzt werden.
- Manche Crawler sammeln Daten zum Trainieren von Modellen, andere rufen Seiten ab, um die Frage eines Nutzers zu beantworten. Entscheiden Sie über jede Art separat.
- llms.txt ist ein Vorschlag: kostengünstig, optional und ohne jede Garantie.
- Das Verhalten von Crawlern ändert sich mit der Zeit. Prüfen Sie daher die offizielle Dokumentation des jeweiligen Anbieters.
Was hat robots.txt mit KI zu tun?
robots.txt liegt im Stammverzeichnis einer Website und enthält Regeln nach Crawler-Namen (User-Agent): welche Crawler hereindürfen und von welchen Bereichen sie sich fernhalten sollen. KI-Unternehmen veröffentlichen die Namen, die sie verwenden, damit Website-Betreiber gezielte Regeln für sie festlegen können. Einige, denen Sie wahrscheinlich begegnen:
- GPTBot
- OAI-SearchBot
- ChatGPT-User
- ClaudeBot
- PerplexityBot
- Google-Extended
Die Syntax ist dieselbe wie bei jeder anderen robots.txt-Regel:
User-agent: <Crawler-Name>
Disallow: /ein-ordner-den-crawler-auslassen-sollen/
Jeder Anbieter beschreibt in seiner eigenen Dokumentation, wofür welcher Name steht. Liste und Verhalten können sich ändern. Verlassen Sie sich daher nicht auf einen Artikel – auch nicht auf diesen – statt auf die Originaldokumentation.
Worin unterscheiden sich Trainings-Crawler und Antwort-Crawler?
Grob gibt es zwei Hauptzwecke:
- Daten sammeln, um Modelle zu trainieren. Die Inhalte werden zu Lernmaterial für spätere Versionen eines Modells.
- Seiten abrufen, um eine Frage zu beantworten. Wenn ein Nutzer etwas fragt, sucht und liest das System relevante Seiten, um seine Antwort zu formulieren, oft mit Quellenangaben.
Diese Unterscheidung ist wichtig, wenn Sie Entscheidungen treffen. Eine pauschale Regel gegen alle KI-Crawler kann eine Website unbeabsichtigt aus Antworten entfernen, die auf abgerufenen Seiten beruhen – obwohl das Unternehmen eigentlich nur die Nutzung seiner Inhalte für das Training einschränken wollte. Welche Arten Sie zulassen oder blockieren, ist eine geschäftliche Entscheidung jeder Organisation; vermeiden sollten Sie nur, etwas zu blockieren, ohne zu wissen, was Sie da blockieren.
Was kann robots.txt leisten und was nicht?
- Es ist eine Bitte, kein Durchsetzungsmechanismus. Seriöse Crawler halten sich daran; technisch verhindert die Datei den Zugriff nicht. Schützenswerte Inhalte gehören hinter einen Login oder Zugriffskontrollen.
- Erlaubt heißt nicht genutzt. Crawlern die Tür zu öffnen, ist nur eine Voraussetzung. Ob Inhalte ausgewählt werden, hängt weiterhin von ihrer Qualität und Relevanz ab. Siehe Wie KI ihre Quellen auswählt.
- Es ist nicht die einzige Hürde. Eine Firewall, ein Bot-Schutzdienst oder die Serverkonfiguration können KI-Crawler ebenfalls blockieren, selbst wenn robots.txt sie zulässt.
Was ist llms.txt?
llms.txt ist eine vorgeschlagene Konvention: Im Stammverzeichnis einer Website wird eine Markdown-Datei abgelegt, die die Website für Sprachmodelle zusammenfasst. Typischerweise enthält sie den Namen der Website, eine kurze Einführung und eine Liste von Links zu den wichtigsten Seiten, jeweils mit einer kurzen Beschreibung. Die Idee: einem Modell eine kompakte, lesbare Übersicht an die Hand zu geben, statt es die gesamte Website-Struktur selbst durcharbeiten zu lassen.
Was ist llms.txt nicht?
- Kein offizieller Standard. Bislang ist es ein Vorschlag.
- Nicht von jedem KI-Anbieter unterstützt. Die Verbreitung ist unterschiedlich, und Sie sollten nicht davon ausgehen, dass ein bestimmter KI-Assistent die Datei liest.
- Keine Garantie. Eine llms.txt bedeutet nicht, häufiger zitiert oder erwähnt zu werden.
- Kein Ersatz für robots.txt. llms.txt steuert nicht den Zugriff von Crawlern.
- Kein Ersatz für gute Inhalte. Eine ordentliche Zusammenfassung gleicht Seiten ohne konkrete Informationen nicht aus.
Sollten Sie eine llms.txt anlegen?
Das können Sie, solange Sie es als kleine, optionale Aufgabe betrachten. Der Aufwand ist gering: eine Textdatei, die aktualisiert wird, wenn sich die Website-Struktur ändert. Wenn Sie es tun, halten Sie die Datei kurz und korrekt, verlinken Sie nur auf kanonische Seiten und achten Sie darauf, dass sie mit dem übereinstimmt, was tatsächlich auf der Website steht. Erwarten Sie nicht, dass diese Datei allein eine messbare Veränderung bewirkt, und stellen Sie sie nicht vor grundlegendere Arbeit.
Was sollten Sie zuerst prüfen?
- robots.txt öffnen und nach Regeln suchen, die KI-Crawler unbeabsichtigt blockieren.
- Auf Basis der Anbieterdokumentation eine Richtlinie für jede Crawler-Art festlegen.
- Firewall- und Bot-Schutz-Einstellungen prüfen.
- Sicherstellen, dass die Hauptinhalte ohne Login als Text lesbar sind.
- llms.txt in Betracht ziehen, sobald die obigen Schritte erledigt sind.
- Regelmäßig überprüfen.
Zugänglichkeit ist nur die erste Ebene. Damit KI eine Marke richtig versteht und einen Grund hat, sie zu zitieren, braucht die Marke außerdem ein Fundament aus Entitäten, zitierfähige Inhalte und Präsenz in vielen Quellen. Lesen Sie mehr über das G.E.O-Framework oder die Leistung Entitäten & Schema von GEONGON.