İçgörüler

llms.txt ve yapay zekâ tarayıcıları: ne oldukları ve ne olmadıkları

Yapay zekâ tarayıcıları için robots.txt ve llms.txt önerisi: ne oldukları, bir markanın yapay zekâdaki görünürlüğü için neler yapıp neler yapamayacakları.

robots.txt, bir web sitesinin, yapay zekâ şirketlerinin işlettikleri de dahil olmak üzere tarayıcılara sitenin hangi bölümlerine erişebileceklerini bildirmek için kullandığı dosyadır. llms.txt ise önerilen bir kuraldır: Site kökünde yer alan ve siteyi dil modelleri için özetleyen bir Markdown dosyası. İkisi de bir markanın yapay zekâ yanıtlarında yer alacağını garanti etmez: robots.txt, kurallara uyan tarayıcıların dikkate aldığı bir taleptir; llms.txt ise resmî bir standart değildir ve desteği sağlayıcıdan sağlayıcıya değişir.

Öne çıkanlar

  • robots.txt hangi tarayıcıların içeri davet edildiğini söyler. Yapay zekâ tarayıcılarını yanlışlıkla engellemek, içeriğinizin yanıtlarda kullanılmasını önleyebilir.
  • Bazı tarayıcılar model eğitmek için veri toplar; diğerleri bir kullanıcının sorusunu yanıtlamak için sayfaları getirir. Her tür için ayrı karar verin.
  • llms.txt bir öneridir: Düşük maliyetlidir, isteğe bağlıdır ve hiçbir şeyi garanti etmez.
  • Tarayıcıların davranışı zamanla değişir; bu yüzden her sağlayıcının resmî dokümantasyonunu kontrol edin.

robots.txt’nin yapay zekâ ile ne ilgisi var?

robots.txt bir web sitesinin kökünde yer alır ve tarayıcı adına (user agent) göre kurallar içerir: Hangi tarayıcıların girebileceği ve hangi bölümlerden uzak durmaları gerektiği. Yapay zekâ şirketleri, site sahiplerinin kendileri için özel kurallar belirleyebilmesi amacıyla kullandıkları adları yayınlar. Karşılaşma olasılığınızın yüksek olduğu bazı adlar:

  • GPTBot
  • OAI-SearchBot
  • ChatGPT-User
  • ClaudeBot
  • PerplexityBot
  • Google-Extended

Söz dizimi, diğer tüm robots.txt kurallarıyla aynıdır:

User-agent: <tarayıcı adı>
Disallow: /tarayicilarin-atlamasini-istediginiz-klasor/

Her sağlayıcı, her adın ne için kullanıldığını kendi dokümantasyonunda açıklar. Liste ve davranışlar değişebilir; bu yüzden bu yazı da dahil hiçbir yazıya orijinal dokümantasyonun yerine güvenmeyin.

Eğitim tarayıcıları yanıt tarayıcılarından nasıl ayrılır?

Genel olarak iki ana amaç vardır:

  • Model eğitmek için veri toplamak. İçerik, bir modelin sonraki sürümleri için öğrenme materyali hâline gelir.
  • Bir soruyu yanıtlamak için sayfa getirmek. Bir kullanıcı bir şey sorduğunda sistem, yanıtını oluşturmak için ilgili sayfaları bulur ve okur; çoğu zaman kaynakları da ekler.

Bu ayrım karar verirken önemlidir. Tüm yapay zekâ tarayıcılarına karşı topyekûn bir kural, işletmenin aslında tek istediği içeriğinin eğitimde kullanılmasını sınırlamak olsa bile, bir web sitesini istemeden sayfa getiren sistemlerin yanıtlarından çıkarabilir. Hangi türlere izin verileceği veya hangilerinin engelleneceği her kuruluşun kendi iş kararıdır; kaçınılması gereken, neyi engellediğinizi bilmeden engellemektir.

robots.txt neler yapabilir, neler yapamaz?

  • Bir taleptir, bir yaptırım mekanizması değildir. Kurallara uyan tarayıcılar onu dikkate alır; dosya erişimi teknik olarak engellemez. Korunması gereken içerik, oturum açma veya erişim denetimlerinin arkasında olmalıdır.
  • İzin verilmesi kullanılacağı anlamına gelmez. Kapıyı tarayıcılara açmak yalnızca bir ön koşuldur. İçeriğin seçilip seçilmeyeceği yine kalitesine ve ilgililiğine bağlıdır. Yapay zekânın kaynaklarını nasıl seçtiğine göz atın.
  • Tek engel o değildir. Bir güvenlik duvarı, bot koruma hizmeti veya sunucu yapılandırması da robots.txt izin verse bile yapay zekâ tarayıcılarını engelleyebilir.

llms.txt nedir?

llms.txt önerilen bir kuraldır: Bir web sitesinin köküne, siteyi dil modelleri için özetleyen bir Markdown dosyası yerleştirmek. Dosya genellikle sitenin adını, kısa bir tanıtımı ve her biri kısa bir açıklamaya sahip en önemli sayfalara giden bağlantıların listesini içerir. Amaç, modelin sitenin tüm yapısını kendi başına çözmesine bırakmak yerine ona derli toplu, okunabilir bir harita vermektir.

llms.txt ne değildir?

  • Resmî bir standart değildir. Şimdilik bir öneridir.
  • Her yapay zekâ sağlayıcısı tarafından desteklenmez. Benimsenme düzeyi farklıdır ve belirli bir yapay zekâ asistanının dosyayı okuyacağını varsaymamalısınız.
  • Bir garanti değildir. Bir llms.txt dosyasına sahip olmak, daha sık kaynak gösterileceğiniz veya anılacağınız anlamına gelmez.
  • robots.txt’nin yerini tutmaz. llms.txt tarayıcı erişimini kontrol etmez.
  • İyi içeriğin yerini tutmaz. Derli toplu bir özet, somut bilgiden yoksun sayfaları telafi edemez.

llms.txt oluşturmalı mısınız?

Küçük ve isteğe bağlı bir iş olarak gördüğünüz sürece oluşturabilirsiniz. Maliyeti düşüktür: Site yapısı değiştiğinde güncellenen tek bir metin dosyası. Bunu yaparsanız dosyayı kısa ve doğru tutun, yalnızca standart (canonical) sayfalara bağlantı verin ve web sitesinde gerçekte bulunanlarla tutarlı kalmasını sağlayın. Bu dosyanın tek başına ölçülebilir bir değişiklik yaratmasını beklemeyin ve onu daha temel çalışmaların önüne koymayın.

Önce neleri kontrol etmelisiniz?

  1. robots.txt dosyasını açın ve yapay zekâ tarayıcılarını istemeden engelleyen kuralları arayın.
  2. Sağlayıcıların dokümantasyonuna dayanarak her tarayıcı türü için bir politika belirleyin.
  3. Güvenlik duvarı ve bot koruma ayarlarınızı kontrol edin.
  4. Ana içeriğin oturum açmadan metin olarak okunabildiğinden emin olun.
  5. Yukarıdaki adımlar tamamlandıktan sonra llms.txt dosyasını değerlendirin.
  6. Düzenli aralıklarla gözden geçirin.

Erişilebilirlik yalnızca ilk katmandır. Yapay zekânın bir markayı doğru anlaması ve onu kaynak göstermek için bir nedeni olması için markanın ayrıca bir varlık (entity) temeline, alıntılanabilir içeriğe ve pek çok kaynakta görünürlüğe ihtiyacı vardır. G.E.O çerçevesi ya da GEONGON’un Entity & Schema hizmeti hakkında bilgi edinebilirsiniz.

İlgili yazılar

Markanız bugün yapay zekâ yanıtlarında nerede duruyor?

Bir görüşmeyle ve markanızın yapay zekâ platformlarındaki görünürlüğüne ilk bir bakışla başlayın.

AI Görünürlük Denetimi isteyin