A robots.txt az a fájl, amellyel egy weboldal megmondja a crawlereknek – az AI-cégek által üzemeltetetteknek is –, hogy az oldal mely részeihez férhetnek hozzá. Az llms.txt egy javasolt konvenció: egy Markdown-fájl a weboldal gyökérkönyvtárában, amely összefoglalja az oldalt a nyelvi modellek számára. Egyik sem garantálja, hogy egy márka megjelenik az AI-válaszokban: a robots.txt kérés, amelyet a jól viselkedő crawlerek betartanak, az llms.txt pedig nem hivatalos szabvány, és a támogatottsága szolgáltatónként eltér.
A legfontosabbak röviden
- A robots.txt megmondja, mely crawlerek léphetnek be. Az AI-crawlerek véletlen blokkolása megakadályozhatja, hogy tartalmát a válaszokban felhasználják.
- Egyes crawlerek modellek tanításához gyűjtenek adatot, mások oldalakat kérnek le, hogy megválaszolják egy felhasználó kérdését. Minden típusról külön döntsön.
- Az llms.txt javaslat: olcsó, opcionális, és semmit sem garantál.
- A crawlerek viselkedése idővel változik, ezért nézze meg az egyes szolgáltatók hivatalos dokumentációját.
Mi köze a robots.txt-nek az AI-hoz?
A robots.txt a weboldal gyökérkönyvtárában található, és crawlernevek (user agent) szerint tartalmaz szabályokat: mely crawlerek léphetnek be, és mely részeket kell elkerülniük. Az AI-cégek közzéteszik az általuk használt neveket, hogy a weboldal-tulajdonosok külön szabályokat állíthassanak be számukra. Néhány, amellyel valószínűleg találkozik:
- GPTBot
- OAI-SearchBot
- ChatGPT-User
- ClaudeBot
- PerplexityBot
- Google-Extended
A szintaxis ugyanaz, mint bármely más robots.txt-szabálynál:
User-agent: <crawler neve>
Disallow: /a-crawlerek-elol-elzart-mappa/
Az egyes nevek rendeltetését minden szolgáltató a saját dokumentációjában írja le. A lista és a viselkedés változhat, ezért egyetlen cikkre se hagyatkozzon – ezt is beleértve – az eredeti dokumentáció helyett.
Miben különböznek a tanító és a válaszadó crawlerek?
Nagyjából két fő célról van szó:
- Adatgyűjtés modellek tanításához. A tartalom a modell későbbi verzióinak tananyagává válik.
- Oldalak lekérése egy kérdés megválaszolásához. Amikor egy felhasználó kérdez valamit, a rendszer megkeresi és elolvassa a releváns oldalakat, hogy összeállítsa a választ, gyakran forrásmegjelöléssel.
A különbség a döntéseknél számít. Egy minden AI-crawlert tiltó általános szabály akaratlanul is kiveheti a weboldalt a keresésen alapuló válaszokból, miközben a vállalat valójában csak azt akarta korlátozni, hogy tartalmát modellek tanítására használják. Hogy mely típusokat engedélyezi vagy tiltja, az minden szervezet saját üzleti döntése; azt kell elkerülni, hogy úgy tiltson, hogy nem tudja, mit tilt.
Mire képes a robots.txt, és mire nem?
- Kérés, nem kikényszerítő mechanizmus. A jól viselkedő crawlerek betartják; a fájl technikailag nem akadályozza meg a hozzáférést. A védendő tartalomnak bejelentkezés vagy hozzáférés-szabályozás mögött a helye.
- Az engedélyezés nem jelenti azt, hogy fel is használják. A crawlerek beengedése csak előfeltétel. Az, hogy a tartalmat kiválasztják-e, továbbra is a minőségén és a relevanciáján múlik. Olvassa el, hogyan választja ki az AI a forrásait.
- Nem az egyetlen akadály. Egy tűzfal, egy botvédelmi szolgáltatás vagy a szerverkonfiguráció is blokkolhatja az AI-crawlereket, még akkor is, ha a robots.txt engedélyezi őket.
Mi az llms.txt?
Az llms.txt egy javasolt konvenció: a weboldal gyökérkönyvtárába egy Markdown-fájlt helyeznek, amely összefoglalja az oldalt a nyelvi modellek számára. Jellemzően tartalmazza a weboldal nevét, egy rövid bemutatkozást és a legfontosabb oldalakra mutató linkek listáját, mindegyikhez rövid leírással. Az ötlet az, hogy a modell egy tömör, olvasható térképet kapjon, ahelyett hogy magának kellene végigjárnia a teljes oldalszerkezetet.
Mi nem az llms.txt?
- Nem hivatalos szabvány. Egyelőre javaslat.
- Nem minden AI-szolgáltató támogatja. Az elterjedtsége eltérő, és nem érdemes feltételezni, hogy egy adott AI-asszisztens elolvassa a fájlt.
- Nem garancia. Attól, hogy van llms.txt, nem fognak gyakrabban hivatkozni a márkára vagy említeni.
- Nem helyettesíti a robots.txt-t. Az llms.txt nem szabályozza a crawlerek hozzáférését.
- Nem helyettesíti a jó tartalmat. Egy rendezett összefoglaló nem pótolja a konkrét információkat nélkülöző oldalakat.
Érdemes llms.txt-t készíteni?
Igen, ha kis, opcionális feladatként kezeli. A költsége alacsony: egyetlen szövegfájl, amelyet akkor kell frissíteni, amikor az oldalszerkezet változik. Ha elkészíti, legyen rövid és pontos, csak kanonikus oldalakra mutasson, és ügyeljen rá, hogy összhangban maradjon azzal, ami valóban a weboldalon van. Ne várja, hogy egyedül ez a fájl mérhető változást hoz, és ne helyezze alapvetőbb feladatok elé.
Mit ellenőrizzen először?
- Nyissa meg a robots.txt-t, és keressen olyan szabályokat, amelyek akaratlanul blokkolják az AI-crawlereket.
- A szolgáltatók dokumentációja alapján határozza meg a szabályokat az egyes crawlertípusokra.
- Ellenőrizze a tűzfal és a botvédelem beállításait.
- Győződjön meg róla, hogy a fő tartalom bejelentkezés nélkül, szövegként is olvasható.
- A fenti lépések után fontolja meg az llms.txt-t.
- Rendszeresen tekintse át újra.
Az elérhetőség csak az első réteg. Ahhoz, hogy az AI helyesen értse a márkát, és oka legyen hivatkozni rá, a márkának entitásalapokra, idézhető tartalomra és számos forrásban való jelenlétre is szüksége van. Olvasson többet a G.E.O keretrendszerről vagy a GEONGON Entitások és séma szolgáltatásáról.