Το robots.txt είναι το αρχείο με το οποίο ένας ιστότοπος δηλώνει στους crawlers, συμπεριλαμβανομένων εκείνων που λειτουργούν εταιρείες AI, σε ποια τμήματα του ιστότοπου επιτρέπεται να έχουν πρόσβαση. Το llms.txt είναι μια προτεινόμενη σύμβαση: ένα αρχείο Markdown στη ρίζα του ιστότοπου που συνοψίζει τον ιστότοπο για τα γλωσσικά μοντέλα. Κανένα από τα δύο δεν εγγυάται ότι ένα brand θα εμφανιστεί στις απαντήσεις της AI: το robots.txt είναι ένα αίτημα που ακολουθούν οι crawlers οι οποίοι τηρούν τους κανόνες, και το llms.txt δεν είναι επίσημο πρότυπο, ενώ η υποστήριξή του διαφέρει από πάροχο σε πάροχο.
Βασικά σημεία
- Το robots.txt δηλώνει ποιοι crawlers είναι ευπρόσδεκτοι. Αν μπλοκάρετε κατά λάθος τους AI crawlers, το περιεχόμενό σας μπορεί να μη χρησιμοποιείται στις απαντήσεις.
- Ορισμένοι crawlers συλλέγουν δεδομένα για την εκπαίδευση μοντέλων· άλλοι ανακτούν σελίδες για να απαντήσουν στην ερώτηση ενός χρήστη. Αποφασίστε ξεχωριστά για κάθε είδος.
- Το llms.txt είναι πρόταση: χαμηλού κόστους, προαιρετικό και χωρίς καμία εγγύηση.
- Η συμπεριφορά των crawlers αλλάζει με τον χρόνο, γι’ αυτό ελέγχετε την επίσημη τεκμηρίωση κάθε παρόχου.
Τι σχέση έχει το robots.txt με την AI;
Το robots.txt βρίσκεται στη ρίζα ενός ιστότοπου και περιέχει κανόνες ανά όνομα crawler (user agent): ποιοι crawlers μπορούν να μπουν και από ποιες ενότητες πρέπει να μένουν μακριά. Οι εταιρείες AI δημοσιεύουν τα ονόματα που χρησιμοποιούν, ώστε οι ιδιοκτήτες ιστότοπων να μπορούν να ορίζουν συγκεκριμένους κανόνες για αυτά. Μερικά που είναι πιθανό να συναντήσετε:
- GPTBot
- OAI-SearchBot
- ChatGPT-User
- ClaudeBot
- PerplexityBot
- Google-Extended
Η σύνταξη είναι ίδια με οποιονδήποτε άλλο κανόνα του robots.txt:
User-agent: <όνομα crawler>
Disallow: /φάκελος-που-δεν-θέλετε-να-διαβάζουν-οι-crawlers/
Κάθε πάροχος περιγράφει στη δική του τεκμηρίωση σε τι χρησιμεύει κάθε όνομα. Η λίστα και η συμπεριφορά μπορεί να αλλάξουν, γι’ αυτό μη βασίζεστε σε κανένα άρθρο, ούτε σε αυτό, αντί για την αρχική τεκμηρίωση.
Σε τι διαφέρουν οι crawlers εκπαίδευσης από τους crawlers απαντήσεων;
Σε γενικές γραμμές, υπάρχουν δύο κύριοι σκοποί:
- Συλλογή δεδομένων για την εκπαίδευση μοντέλων. Το περιεχόμενο γίνεται εκπαιδευτικό υλικό για μεταγενέστερες εκδόσεις ενός μοντέλου.
- Ανάκτηση σελίδων για την απάντηση σε μια ερώτηση. Όταν ένας χρήστης ρωτά κάτι, το σύστημα βρίσκει και διαβάζει σχετικές σελίδες για να συνθέσει την απάντησή του, συχνά με παράθεση πηγών.
Η διάκριση έχει σημασία όταν παίρνετε αποφάσεις. Ένας γενικός κανόνας που μπλοκάρει όλους τους AI crawlers μπορεί άθελά σας να αφαιρέσει έναν ιστότοπο από τις απαντήσεις που βασίζονται σε ανάκτηση, ενώ το μόνο που ήθελε πραγματικά η επιχείρηση ήταν να περιορίσει τη χρήση του περιεχομένου της για εκπαίδευση. Ποια είδη θα επιτρέψετε ή θα μπλοκάρετε είναι επιχειρηματική απόφαση κάθε οργανισμού· αυτό που πρέπει να αποφύγετε είναι να μπλοκάρετε χωρίς να ξέρετε τι μπλοκάρετε.
Τι μπορεί και τι δεν μπορεί να κάνει το robots.txt;
- Είναι αίτημα, όχι μηχανισμός επιβολής. Οι crawlers που τηρούν τους κανόνες το ακολουθούν· το αρχείο δεν εμποδίζει τεχνικά την πρόσβαση. Περιεχόμενο που χρειάζεται προστασία πρέπει να βρίσκεται πίσω από σύνδεση λογαριασμού ή έλεγχο πρόσβασης.
- Επιτρεπτό δεν σημαίνει ότι χρησιμοποιείται. Το άνοιγμα της πόρτας στους crawlers είναι απλώς προϋπόθεση. Το αν το περιεχόμενο θα επιλεγεί εξαρτάται ακόμη από την ποιότητα και τη συνάφειά του. Δείτε πώς επιλέγει η AI τις πηγές της.
- Δεν είναι το μόνο εμπόδιο. Ένα firewall, μια υπηρεσία προστασίας από bots ή η διαμόρφωση του server μπορούν επίσης να μπλοκάρουν τους AI crawlers, ακόμη κι αν το robots.txt τους επιτρέπει.
Τι είναι το llms.txt;
Το llms.txt είναι μια προτεινόμενη σύμβαση: τοποθετείτε στη ρίζα του ιστότοπου ένα αρχείο Markdown που συνοψίζει τον ιστότοπο για τα γλωσσικά μοντέλα. Συνήθως περιέχει το όνομα του ιστότοπου, μια σύντομη εισαγωγή και μια λίστα συνδέσμων προς τις σημαντικότερες σελίδες, καθεμία με μια σύντομη περιγραφή. Η ιδέα είναι να δοθεί σε ένα μοντέλο ένας συμπαγής, ευανάγνωστος χάρτης, αντί να αφεθεί να βρει μόνο του τον δρόμο μέσα σε ολόκληρη τη δομή του ιστότοπου.
Τι δεν είναι το llms.txt;
- Δεν είναι επίσημο πρότυπο. Προς το παρόν είναι μια πρόταση.
- Δεν υποστηρίζεται από όλους τους παρόχους AI. Η υιοθέτηση διαφέρει και δεν πρέπει να υποθέτετε ότι κάποιος συγκεκριμένος βοηθός AI θα διαβάσει το αρχείο.
- Δεν είναι εγγύηση. Η ύπαρξη llms.txt δεν σημαίνει συχνότερες παραπομπές ή αναφορές.
- Δεν υποκαθιστά το robots.txt. Το llms.txt δεν ελέγχει την πρόσβαση των crawlers.
- Δεν υποκαθιστά το καλό περιεχόμενο. Μια τακτοποιημένη σύνοψη δεν αναπληρώνει σελίδες που στερούνται συγκεκριμένων πληροφοριών.
Πρέπει να δημιουργήσετε ένα llms.txt;
Μπορείτε, αρκεί να το αντιμετωπίσετε ως μια μικρή, προαιρετική εργασία. Το κόστος είναι χαμηλό: ένα αρχείο κειμένου που ενημερώνεται όταν αλλάζει η δομή του ιστότοπου. Αν το κάνετε, κρατήστε το αρχείο σύντομο και ακριβές, βάλτε συνδέσμους μόνο προς τις κανονικές (canonical) σελίδες και βεβαιωθείτε ότι συμφωνεί με όσα υπάρχουν πραγματικά στον ιστότοπο. Μην περιμένετε ότι αυτό το αρχείο από μόνο του θα φέρει μετρήσιμη αλλαγή και μην το βάλετε πάνω από πιο θεμελιώδεις εργασίες.
Τι πρέπει να ελέγξετε πρώτα;
- Ανοίξτε το robots.txt και αναζητήστε κανόνες που μπλοκάρουν ακούσια τους AI crawlers.
- Αποφασίστε μια πολιτική για κάθε είδος crawler με βάση την τεκμηρίωση των παρόχων.
- Ελέγξτε τις ρυθμίσεις του firewall και της προστασίας από bots.
- Βεβαιωθείτε ότι το κύριο περιεχόμενο διαβάζεται ως κείμενο χωρίς σύνδεση λογαριασμού.
- Εξετάστε το llms.txt αφού ολοκληρωθούν τα παραπάνω βήματα.
- Επανελέγχετε περιοδικά.
Η προσβασιμότητα είναι μόνο το πρώτο επίπεδο. Για να κατανοήσει η AI σωστά ένα brand και να έχει λόγο να το παραθέσει, το brand χρειάζεται επίσης θεμέλια οντοτήτων, περιεχόμενο που αξίζει παραπομπή και παρουσία σε πολλές πηγές. Μπορείτε να διαβάσετε για το πλαίσιο G.E.O ή για την υπηρεσία Οντότητες & Schema της GEONGON.