Tudástár

Az llms.txt és az AI-crawlerek: mik ezek, és mik nem

A robots.txt az AI-crawlerekhez és az llms.txt javaslat: mik ezek, mire képesek, és mire nem egy márka AI-válaszokban való jelenlétében.

A robots.txt az a fájl, amellyel egy weboldal megmondja a crawlereknek – az AI-cégek által üzemeltetetteknek is –, hogy az oldal mely részeihez férhetnek hozzá. Az llms.txt egy javasolt konvenció: egy Markdown-fájl a weboldal gyökérkönyvtárában, amely összefoglalja az oldalt a nyelvi modellek számára. Egyik sem garantálja, hogy egy márka megjelenik az AI-válaszokban: a robots.txt kérés, amelyet a jól viselkedő crawlerek betartanak, az llms.txt pedig nem hivatalos szabvány, és a támogatottsága szolgáltatónként eltér.

A legfontosabbak röviden

  • A robots.txt megmondja, mely crawlerek léphetnek be. Az AI-crawlerek véletlen blokkolása megakadályozhatja, hogy tartalmát a válaszokban felhasználják.
  • Egyes crawlerek modellek tanításához gyűjtenek adatot, mások oldalakat kérnek le, hogy megválaszolják egy felhasználó kérdését. Minden típusról külön döntsön.
  • Az llms.txt javaslat: olcsó, opcionális, és semmit sem garantál.
  • A crawlerek viselkedése idővel változik, ezért nézze meg az egyes szolgáltatók hivatalos dokumentációját.

Mi köze a robots.txt-nek az AI-hoz?

A robots.txt a weboldal gyökérkönyvtárában található, és crawlernevek (user agent) szerint tartalmaz szabályokat: mely crawlerek léphetnek be, és mely részeket kell elkerülniük. Az AI-cégek közzéteszik az általuk használt neveket, hogy a weboldal-tulajdonosok külön szabályokat állíthassanak be számukra. Néhány, amellyel valószínűleg találkozik:

  • GPTBot
  • OAI-SearchBot
  • ChatGPT-User
  • ClaudeBot
  • PerplexityBot
  • Google-Extended

A szintaxis ugyanaz, mint bármely más robots.txt-szabálynál:

User-agent: <crawler neve>
Disallow: /a-crawlerek-elol-elzart-mappa/

Az egyes nevek rendeltetését minden szolgáltató a saját dokumentációjában írja le. A lista és a viselkedés változhat, ezért egyetlen cikkre se hagyatkozzon – ezt is beleértve – az eredeti dokumentáció helyett.

Miben különböznek a tanító és a válaszadó crawlerek?

Nagyjából két fő célról van szó:

  • Adatgyűjtés modellek tanításához. A tartalom a modell későbbi verzióinak tananyagává válik.
  • Oldalak lekérése egy kérdés megválaszolásához. Amikor egy felhasználó kérdez valamit, a rendszer megkeresi és elolvassa a releváns oldalakat, hogy összeállítsa a választ, gyakran forrásmegjelöléssel.

A különbség a döntéseknél számít. Egy minden AI-crawlert tiltó általános szabály akaratlanul is kiveheti a weboldalt a keresésen alapuló válaszokból, miközben a vállalat valójában csak azt akarta korlátozni, hogy tartalmát modellek tanítására használják. Hogy mely típusokat engedélyezi vagy tiltja, az minden szervezet saját üzleti döntése; azt kell elkerülni, hogy úgy tiltson, hogy nem tudja, mit tilt.

Mire képes a robots.txt, és mire nem?

  • Kérés, nem kikényszerítő mechanizmus. A jól viselkedő crawlerek betartják; a fájl technikailag nem akadályozza meg a hozzáférést. A védendő tartalomnak bejelentkezés vagy hozzáférés-szabályozás mögött a helye.
  • Az engedélyezés nem jelenti azt, hogy fel is használják. A crawlerek beengedése csak előfeltétel. Az, hogy a tartalmat kiválasztják-e, továbbra is a minőségén és a relevanciáján múlik. Olvassa el, hogyan választja ki az AI a forrásait.
  • Nem az egyetlen akadály. Egy tűzfal, egy botvédelmi szolgáltatás vagy a szerverkonfiguráció is blokkolhatja az AI-crawlereket, még akkor is, ha a robots.txt engedélyezi őket.

Mi az llms.txt?

Az llms.txt egy javasolt konvenció: a weboldal gyökérkönyvtárába egy Markdown-fájlt helyeznek, amely összefoglalja az oldalt a nyelvi modellek számára. Jellemzően tartalmazza a weboldal nevét, egy rövid bemutatkozást és a legfontosabb oldalakra mutató linkek listáját, mindegyikhez rövid leírással. Az ötlet az, hogy a modell egy tömör, olvasható térképet kapjon, ahelyett hogy magának kellene végigjárnia a teljes oldalszerkezetet.

Mi nem az llms.txt?

  • Nem hivatalos szabvány. Egyelőre javaslat.
  • Nem minden AI-szolgáltató támogatja. Az elterjedtsége eltérő, és nem érdemes feltételezni, hogy egy adott AI-asszisztens elolvassa a fájlt.
  • Nem garancia. Attól, hogy van llms.txt, nem fognak gyakrabban hivatkozni a márkára vagy említeni.
  • Nem helyettesíti a robots.txt-t. Az llms.txt nem szabályozza a crawlerek hozzáférését.
  • Nem helyettesíti a jó tartalmat. Egy rendezett összefoglaló nem pótolja a konkrét információkat nélkülöző oldalakat.

Érdemes llms.txt-t készíteni?

Igen, ha kis, opcionális feladatként kezeli. A költsége alacsony: egyetlen szövegfájl, amelyet akkor kell frissíteni, amikor az oldalszerkezet változik. Ha elkészíti, legyen rövid és pontos, csak kanonikus oldalakra mutasson, és ügyeljen rá, hogy összhangban maradjon azzal, ami valóban a weboldalon van. Ne várja, hogy egyedül ez a fájl mérhető változást hoz, és ne helyezze alapvetőbb feladatok elé.

Mit ellenőrizzen először?

  1. Nyissa meg a robots.txt-t, és keressen olyan szabályokat, amelyek akaratlanul blokkolják az AI-crawlereket.
  2. A szolgáltatók dokumentációja alapján határozza meg a szabályokat az egyes crawlertípusokra.
  3. Ellenőrizze a tűzfal és a botvédelem beállításait.
  4. Győződjön meg róla, hogy a fő tartalom bejelentkezés nélkül, szövegként is olvasható.
  5. A fenti lépések után fontolja meg az llms.txt-t.
  6. Rendszeresen tekintse át újra.

Az elérhetőség csak az első réteg. Ahhoz, hogy az AI helyesen értse a márkát, és oka legyen hivatkozni rá, a márkának entitásalapokra, idézhető tartalomra és számos forrásban való jelenlétre is szüksége van. Olvasson többet a G.E.O keretrendszerről vagy a GEONGON Entitások és séma szolgáltatásáról.

Kapcsolódó cikkek

Hol tart ma márkája az AI-válaszokban?

Kezdjük egy beszélgetéssel és egy első áttekintéssel arról, mennyire látható márkája az AI-platformokon.

Kérjen AI-láthatósági auditot