robots.txt on tiedosto, jolla verkkosivusto kertoo indeksointiroboteille (crawlers), myös tekoälyyritysten ylläpitämille, mihin sivuston osiin ne saavat mennä. llms.txt on ehdotettu käytäntö: sivuston juureen sijoitettava Markdown-tiedosto, joka tiivistää sivuston kielimalleille. Kumpikaan ei takaa brändin näkymistä tekoälyn vastauksissa: robots.txt on pyyntö, jota asiallisesti toimivat robotit noudattavat, eikä llms.txt ole virallinen standardi, ja sen tuki vaihtelee palveluntarjoajittain.
Tärkeimmät havainnot
- robots.txt kertoo, mitkä robotit ovat tervetulleita. Jos tekoälybotit estetään vahingossa, sisältöänne ei ehkä voida käyttää vastauksissa.
- Jotkin robotit keräävät dataa mallien kouluttamiseen; toiset hakevat sivuja vastatakseen käyttäjän kysymykseen. Kummastakin kannattaa päättää erikseen.
- llms.txt on ehdotus: edullinen, vapaaehtoinen eikä takaa mitään.
- Robottien toiminta muuttuu ajan myötä, joten tarkistakaa kunkin palveluntarjoajan virallinen dokumentaatio.
Mitä tekemistä robots.txt-tiedostolla on tekoälyn kanssa?
robots.txt sijaitsee verkkosivuston juuressa ja sisältää sääntöjä robotin nimen (user agent) mukaan: mitkä robotit saavat tulla sisään ja mistä osioista niiden pitäisi pysyä poissa. Tekoälyyritykset julkaisevat käyttämänsä nimet, jotta sivustojen omistajat voivat asettaa niille omia sääntöjä. Joitakin, joihin todennäköisesti törmäätte:
- GPTBot
- OAI-SearchBot
- ChatGPT-User
- ClaudeBot
- PerplexityBot
- Google-Extended
Syntaksi on sama kuin missä tahansa muussa robots.txt-säännössä:
User-agent: <robotin nimi>
Disallow: /kansio-jonka-robottien-halutaan-ohittavan/
Kukin palveluntarjoaja kuvaa omassa dokumentaatiossaan, mihin kutakin nimeä käytetään. Luettelo ja toiminta voivat muuttua, joten älkää luottako mihinkään artikkeliin, tämä mukaan lukien, alkuperäisen dokumentaation sijaan.
Miten koulutusbotit eroavat vastausboteista?
Karkeasti ottaen pääasiallisia tarkoituksia on kaksi:
- Datan kerääminen mallien kouluttamiseen. Sisällöstä tulee oppimateriaalia mallin myöhemmille versioille.
- Sivujen hakeminen kysymykseen vastaamiseksi. Kun käyttäjä kysyy jotain, järjestelmä etsii ja lukee aiheeseen liittyviä sivuja koostaakseen vastauksensa, usein lähteineen.
Ero on tärkeä päätöksiä tehtäessä. Yleinen, kaikki tekoälybotit estävä sääntö voi tahattomasti pudottaa verkkosivuston pois hakuun perustuvista vastauksista, vaikka yritys todellisuudessa halusi vain rajoittaa sisältönsä käyttöä koulutukseen. Se, mitkä tyypit sallitaan ja mitkä estetään, on kunkin organisaation oma liiketoimintapäätös; välttää kannattaa estämistä tietämättä, mitä estää.
Mitä robots.txt voi tehdä, ja mitä se ei voi?
- Se on pyyntö, ei pakote. Asiallisesti toimivat robotit noudattavat sitä; tiedosto ei teknisesti estä pääsyä. Suojattava sisältö kuuluu kirjautumisen tai käyttöoikeuksien hallinnan taakse.
- Sallittu ei tarkoita käytettyä. Oven avaaminen roboteille on vain edellytys. Se, valitaanko sisältö, riippuu yhä sen laadusta ja relevanssista. Katso miten tekoäly valitsee lähteensä.
- Se ei ole ainoa este. Palomuuri, bottisuojauspalvelu tai palvelimen asetukset voivat myös estää tekoälybotit, vaikka robots.txt sallisi ne.
Mikä on llms.txt?
llms.txt on ehdotettu käytäntö: verkkosivuston juureen sijoitetaan Markdown-tiedosto, joka tiivistää sivuston kielimalleille. Se sisältää tyypillisesti sivuston nimen, lyhyen esittelyn ja luettelon linkkejä tärkeimpiin sivuihin, kukin lyhyen kuvauksen kera. Ajatuksena on antaa mallille tiivis, luettava kartta sen sijaan, että se joutuisi itse kahlaamaan läpi koko sivuston rakenteen.
Mitä llms.txt ei ole?
- Ei virallinen standardi. Toistaiseksi se on ehdotus.
- Ei kaikkien tekoälypalveluiden tukema. Käyttöönotto vaihtelee, eikä kannata olettaa, että mikään tietty tekoälyavustaja lukee tiedoston.
- Ei tae. llms.txt-tiedoston olemassaolo ei tarkoita, että teihin viitattaisiin tai teidät mainittaisiin useammin.
- Ei korvaa robots.txt-tiedostoa. llms.txt ei ohjaa robottien pääsyä.
- Ei korvaa hyvää sisältöä. Siisti tiivistelmä ei voi paikata sivuja, joilta puuttuu konkreettista tietoa.
Kannattaako llms.txt-tiedosto luoda?
Voitte luoda sen, kunhan pidätte sitä pienenä, vapaaehtoisena tehtävänä. Kustannus on pieni: yksi tekstitiedosto, jota päivitetään, kun sivuston rakenne muuttuu. Jos luotte sen, pitäkää tiedosto lyhyenä ja paikkansapitävänä, linkittäkää vain kanonisiin sivuihin ja varmistakaa, että se pysyy linjassa sen kanssa, mitä verkkosivustolla todella on. Älkää odottako, että tämä tiedosto yksinään tuottaa mitattavan muutoksen, älkääkä asettako sitä perustavamman työn edelle.
Mitä kannattaa tarkistaa ensin?
- Avatkaa robots.txt ja etsikää sääntöjä, jotka estävät tekoälybotteja tahattomasti.
- Päättäkää linjaus kullekin robottityypille palveluntarjoajien dokumentaation perusteella.
- Tarkistakaa palomuurin ja bottisuojauksen asetukset.
- Varmistakaa, että pääsisältö on luettavissa tekstinä ilman kirjautumista.
- Harkitkaa llms.txt-tiedostoa, kun edellä mainitut vaiheet on tehty.
- Tarkistakaa tilanne säännöllisesti uudelleen.
Saavutettavuus on vasta ensimmäinen kerros. Jotta tekoäly ymmärtäisi brändin oikein ja sillä olisi syy siteerata sitä, brändi tarvitsee myös entiteettiperustan, siteerattavaa sisältöä ja läsnäoloa useissa lähteissä. Voitte lukea lisää G.E.O-mallista tai GEONGONin Entiteetit & schema -palvelusta.