इनसाइट्स

llms.txt और AI क्रॉलर्स: ये क्या हैं और क्या नहीं हैं

AI क्रॉलर्स के लिए robots.txt और llms.txt प्रस्ताव: ये क्या हैं, और AI में ब्रांड की मौजूदगी के लिए क्या कर सकते हैं और क्या नहीं।

robots.txt वह फ़ाइल है जिसके ज़रिए कोई वेबसाइट क्रॉलर्स को, जिनमें AI कंपनियों के क्रॉलर्स भी शामिल हैं, बताती है कि वे साइट के किन हिस्सों तक पहुँच सकते हैं। llms.txt एक प्रस्तावित परिपाटी (convention) है: साइट के रूट पर रखी एक Markdown फ़ाइल, जो लैंग्वेज मॉडल्स के लिए साइट का सारांश देती है। इनमें से कोई भी यह गारंटी नहीं देता कि ब्रांड AI जवाबों में दिखेगा: robots.txt एक अनुरोध है जिसका पालन नियम मानने वाले क्रॉलर्स करते हैं, और llms.txt कोई आधिकारिक स्टैंडर्ड नहीं है, जिसका सपोर्ट हर प्रोवाइडर के यहाँ अलग है।

मुख्य बातें

  • robots.txt बताता है कि किन क्रॉलर्स को अंदर आने की अनुमति है। AI क्रॉलर्स को गलती से ब्लॉक करने से आपका कंटेंट जवाबों में इस्तेमाल होने से रुक सकता है।
  • कुछ क्रॉलर्स मॉडल्स को ट्रेन करने के लिए डेटा इकट्ठा करते हैं; कुछ यूज़र के सवाल का जवाब देने के लिए पेज लाते हैं। हर प्रकार पर अलग से फ़ैसला करें।
  • llms.txt एक प्रस्ताव है: कम लागत वाला, वैकल्पिक, और किसी चीज़ की गारंटी नहीं।
  • क्रॉलर्स का व्यवहार समय के साथ बदलता है, इसलिए हर प्रोवाइडर का आधिकारिक डॉक्यूमेंटेशन देखें।

robots.txt का AI से क्या लेना-देना है?

robots.txt वेबसाइट के रूट पर होता है और उसमें क्रॉलर के नाम (user agent) के अनुसार नियम होते हैं: कौन-से क्रॉलर अंदर आ सकते हैं, और उन्हें किन सेक्शन्स से दूर रहना चाहिए। AI कंपनियाँ अपने इस्तेमाल किए जाने वाले नाम प्रकाशित करती हैं, ताकि साइट के मालिक उनके लिए खास नियम तय कर सकें। कुछ नाम जो आपको दिख सकते हैं:

  • GPTBot
  • OAI-SearchBot
  • ChatGPT-User
  • ClaudeBot
  • PerplexityBot
  • Google-Extended

सिंटैक्स बाकी किसी भी robots.txt नियम जैसा ही है:

User-agent: <क्रॉलर का नाम>
Disallow: /<वह फ़ोल्डर जिसे क्रॉलर छोड़ दें>/

हर प्रोवाइडर अपने डॉक्यूमेंटेशन में बताता है कि हर नाम किस काम के लिए है। सूची और व्यवहार बदल सकते हैं, इसलिए मूल डॉक्यूमेंटेशन की जगह किसी लेख पर भरोसा न करें, इस लेख पर भी नहीं।

ट्रेनिंग क्रॉलर्स, जवाब देने वाले क्रॉलर्स से कैसे अलग हैं?

मोटे तौर पर, दो मुख्य उद्देश्य होते हैं:

  • मॉडल्स को ट्रेन करने के लिए डेटा इकट्ठा करना। कंटेंट मॉडल के आगे के वर्शन्स के लिए सीखने की सामग्री बन जाता है।
  • सवाल का जवाब देने के लिए पेज लाना। जब कोई यूज़र कुछ पूछता है, तो सिस्टम अपना जवाब तैयार करने के लिए प्रासंगिक पेज ढूँढता और पढ़ता है, अक्सर स्रोतों के साथ।

फ़ैसले लेते समय यह अंतर मायने रखता है। सभी AI क्रॉलर्स के ख़िलाफ़ एक ही नियम अनजाने में किसी वेबसाइट को रिट्रीवल पर आधारित जवाबों से हटा सकता है, जबकि व्यवसाय असल में सिर्फ़ ट्रेनिंग के लिए अपने कंटेंट के इस्तेमाल को सीमित करना चाहता था। किन प्रकारों को अनुमति दें या ब्लॉक करें, यह हर संगठन का अपना व्यावसायिक फ़ैसला है; बचना इस बात से है कि आप यह जाने बिना ब्लॉक कर दें कि क्या ब्लॉक कर रहे हैं।

robots.txt क्या कर सकता है, और क्या नहीं?

  • यह एक अनुरोध है, लागू करने का तंत्र नहीं। नियम मानने वाले क्रॉलर्स इसका पालन करते हैं; यह फ़ाइल तकनीकी रूप से पहुँच को नहीं रोकती। जिस कंटेंट को सुरक्षित रखना है, उसे लॉग-इन या एक्सेस कंट्रोल के पीछे होना चाहिए।
  • अनुमति का मतलब इस्तेमाल होना नहीं। क्रॉलर्स के लिए दरवाज़ा खोलना सिर्फ़ एक पूर्व-शर्त है। कंटेंट चुना जाएगा या नहीं, यह अब भी उसकी गुणवत्ता और प्रासंगिकता पर निर्भर करता है। देखें AI अपने स्रोत कैसे चुनता है।
  • यह अकेली रुकावट नहीं है। फ़ायरवॉल, बॉट-प्रोटेक्शन सेवा या सर्वर कॉन्फ़िगरेशन भी AI क्रॉलर्स को ब्लॉक कर सकते हैं, भले ही robots.txt उन्हें अनुमति दे।

llms.txt क्या है?

llms.txt एक प्रस्तावित परिपाटी है: वेबसाइट के रूट पर एक Markdown फ़ाइल रखें, जो लैंग्वेज मॉडल्स के लिए साइट का सारांश दे। इसमें आमतौर पर साइट का नाम, एक छोटा परिचय और सबसे अहम पेजों के लिंक्स की सूची होती है, हर लिंक के साथ छोटा विवरण। विचार यह है कि मॉडल को एक संक्षिप्त, पढ़ने योग्य नक्शा दिया जाए, बजाय इसके कि वह पूरी साइट की संरचना को खुद खंगाले।

llms.txt क्या नहीं है?

  • आधिकारिक स्टैंडर्ड नहीं। फ़िलहाल यह एक प्रस्ताव है।
  • हर AI प्रोवाइडर इसे सपोर्ट नहीं करता। इसे अपनाने का स्तर अलग-अलग है, और यह मानकर नहीं चलना चाहिए कि कोई खास AI असिस्टेंट इस फ़ाइल को पढ़ेगा।
  • गारंटी नहीं। llms.txt होने का मतलब यह नहीं कि आपको ज़्यादा बार उद्धृत किया जाएगा या आपका ज़्यादा ज़िक्र होगा।
  • robots.txt का विकल्प नहीं। llms.txt क्रॉलर्स की पहुँच को नियंत्रित नहीं करता।
  • अच्छे कंटेंट का विकल्प नहीं। एक व्यवस्थित सारांश उन पेजों की कमी पूरी नहीं कर सकता जिनमें विशिष्ट जानकारी नहीं है।

क्या आपको llms.txt बनाना चाहिए?

बना सकते हैं, बशर्ते आप इसे एक छोटा, वैकल्पिक काम मानें। लागत कम है: एक टेक्स्ट फ़ाइल, जिसे साइट की संरचना बदलने पर अपडेट करना होता है। अगर आप इसे बनाते हैं, तो फ़ाइल को छोटा और सटीक रखें, सिर्फ़ कैनोनिकल पेजों से लिंक करें, और ध्यान रखें कि यह वेबसाइट पर असल में मौजूद जानकारी से मेल खाती रहे। यह उम्मीद न करें कि सिर्फ़ यह फ़ाइल कोई मापने योग्य बदलाव लाएगी, और इसे ज़्यादा बुनियादी कामों से पहले न रखें।

पहले क्या जाँचना चाहिए?

  1. robots.txt खोलें और ऐसे नियम ढूँढें जो AI क्रॉलर्स को अनजाने में ब्लॉक करते हों।
  2. प्रोवाइडर्स के डॉक्यूमेंटेशन के आधार पर हर प्रकार के क्रॉलर के लिए एक पॉलिसी तय करें।
  3. अपने फ़ायरवॉल और बॉट-प्रोटेक्शन सेटिंग्स की जाँच करें।
  4. पक्का करें कि मुख्य कंटेंट बिना लॉग-इन के टेक्स्ट के रूप में पढ़ा जा सके।
  5. ऊपर के चरण पूरे होने के बाद llms.txt पर विचार करें।
  6. समय-समय पर समीक्षा करें।

एक्सेसिबिलिटी सिर्फ़ पहली परत है। AI ब्रांड को सही ढंग से समझे और उसके पास उसे उद्धृत करने की वजह हो, इसके लिए ब्रांड को एंटिटी की नींव, उद्धृत करने लायक कंटेंट और कई स्रोतों पर मौजूदगी की भी ज़रूरत है। आप G.E.O फ्रेमवर्क के बारे में या GEONGON की एंटिटी और स्कीमा सेवा के बारे में पढ़ सकते हैं।

संबंधित लेख

आज AI के जवाबों में आपका ब्रांड कहाँ खड़ा है?

एक बातचीत से शुरुआत करें और पहली नज़र में देखें कि AI प्लेटफ़ॉर्म्स पर आपका ब्रांड कितना दिखाई देता है।

AI Visibility ऑडिट पाएँ