robots.txt ही अशी फाइल आहे जिच्याद्वारे वेबसाइट क्रॉलर्सना, AI कंपन्यांच्या क्रॉलर्ससह, साइटच्या कोणत्या भागांमध्ये प्रवेश करता येईल हे सांगते. llms.txt हा एक प्रस्तावित संकेत (convention) आहे: साइटच्या रूटवर ठेवलेली एक Markdown फाइल, जी लँग्वेज मॉडेल्ससाठी साइटचा सारांश देते. यांपैकी कोणतीही गोष्ट ब्रँड AI उत्तरांमध्ये दिसेल याची हमी देत नाही: robots.txt ही एक विनंती आहे जिचे पालन नियम पाळणारे क्रॉलर्स करतात, आणि llms.txt हे अधिकृत मानक नाही, ज्याचा सपोर्ट प्रत्येक प्रोव्हायडरनुसार वेगळा आहे.
महत्त्वाचे मुद्दे
- कोणत्या क्रॉलर्सना आत येण्याची परवानगी आहे हे robots.txt सांगते. AI क्रॉलर्सना चुकून ब्लॉक केल्यास आपला कंटेंट उत्तरांमध्ये वापरला जाणे थांबू शकते.
- काही क्रॉलर्स मॉडेल्सना प्रशिक्षण देण्यासाठी डेटा गोळा करतात; इतर युझरच्या प्रश्नाचे उत्तर देण्यासाठी पेजेस आणतात. प्रत्येक प्रकाराबद्दल स्वतंत्रपणे निर्णय घ्या.
- llms.txt हा एक प्रस्ताव आहे: कमी खर्चाचा, ऐच्छिक, आणि कशाचीही हमी नसलेला.
- क्रॉलर्सचे वर्तन कालांतराने बदलते, त्यामुळे प्रत्येक प्रोव्हायडरचे अधिकृत डॉक्युमेंटेशन तपासा.
robots.txt चा AI शी काय संबंध आहे?
robots.txt वेबसाइटच्या रूटवर असते आणि त्यात क्रॉलरच्या नावानुसार (user agent) नियम असतात: कोणते क्रॉलर्स आत येऊ शकतात, आणि त्यांनी कोणत्या विभागांपासून दूर राहावे. AI कंपन्या त्या वापरत असलेली नावे प्रकाशित करतात, जेणेकरून साइट मालक त्यांच्यासाठी विशिष्ट नियम ठरवू शकतील. आपल्याला आढळू शकणारी काही नावे:
- GPTBot
- OAI-SearchBot
- ChatGPT-User
- ClaudeBot
- PerplexityBot
- Google-Extended
सिंटॅक्स इतर कोणत्याही robots.txt नियमासारखाच आहे:
User-agent: <क्रॉलरचे नाव>
Disallow: /<क्रॉलर्सनी टाळावा असा फोल्डर>/
प्रत्येक नाव कशासाठी आहे हे प्रत्येक प्रोव्हायडर आपल्या डॉक्युमेंटेशनमध्ये सांगतो. यादी आणि वर्तन बदलू शकते, त्यामुळे मूळ डॉक्युमेंटेशनऐवजी कोणत्याही लेखावर, अगदी या लेखावरही, अवलंबून राहू नका.
प्रशिक्षण क्रॉलर्स आणि उत्तर देणारे क्रॉलर्स यांत काय फरक आहे?
ढोबळमानाने, दोन मुख्य उद्देश असतात:
- मॉडेल्सना प्रशिक्षण देण्यासाठी डेटा गोळा करणे. कंटेंट मॉडेलच्या पुढील आवृत्त्यांसाठी शिकण्याचे साहित्य बनतो.
- प्रश्नाचे उत्तर देण्यासाठी पेजेस आणणे. युझर काही विचारतो तेव्हा, सिस्टिम आपले उत्तर तयार करण्यासाठी संबंधित पेजेस शोधते आणि वाचते, अनेकदा स्रोतांसह.
निर्णय घेताना हा फरक महत्त्वाचा ठरतो. सर्व AI क्रॉलर्सविरुद्धचा एकच सरसकट नियम नकळतपणे वेबसाइटला रिट्रीव्हल-आधारित उत्तरांमधून काढून टाकू शकतो, जेव्हा व्यवसायाला प्रत्यक्षात फक्त प्रशिक्षणासाठी आपल्या कंटेंटचा वापर मर्यादित करायचा होता. कोणत्या प्रकारांना परवानगी द्यायची किंवा कोणते ब्लॉक करायचे हा प्रत्येक संस्थेचा स्वतःचा व्यावसायिक निर्णय आहे; टाळायची गोष्ट म्हणजे आपण काय ब्लॉक करत आहोत हे न जाणता ब्लॉक करणे.
robots.txt काय करू शकते, आणि काय नाही?
- ही विनंती आहे, अंमलबजावणीची यंत्रणा नाही. नियम पाळणारे क्रॉलर्स तिचे पालन करतात; ही फाइल तांत्रिकदृष्ट्या प्रवेश रोखत नाही. ज्या कंटेंटचे संरक्षण करायचे आहे, तो लॉग-इन किंवा ॲक्सेस कंट्रोल्सच्या मागे असायला हवा.
- परवानगी म्हणजे वापर नव्हे. क्रॉलर्ससाठी दार उघडणे ही फक्त पूर्वअट आहे. कंटेंट निवडला जाईल की नाही, हे अजूनही त्याचा दर्जा आणि प्रासंगिकता यांवर अवलंबून असते. AI आपले स्रोत कसे निवडते ते पाहा.
- हा एकमेव अडथळा नाही. robots.txt परवानगी देत असले तरी फायरवॉल, बॉट-प्रोटेक्शन सेवा किंवा सर्व्हर कॉन्फिगरेशन देखील AI क्रॉलर्सना ब्लॉक करू शकतात.
llms.txt म्हणजे काय?
llms.txt हा एक प्रस्तावित संकेत आहे: वेबसाइटच्या रूटवर एक Markdown फाइल ठेवा, जी लँग्वेज मॉडेल्ससाठी साइटचा सारांश देईल. तिच्यात सहसा साइटचे नाव, एक छोटी ओळख आणि सर्वात महत्त्वाच्या पेजेसच्या लिंक्सची यादी असते, प्रत्येकासोबत थोडक्यात वर्णन. मॉडेलने संपूर्ण साइटची रचना स्वतः धुंडाळण्याऐवजी त्याला एक संक्षिप्त, वाचनीय नकाशा द्यावा, ही यामागची कल्पना आहे.
llms.txt काय नाही?
- अधिकृत मानक नाही. सध्या तो एक प्रस्ताव आहे.
- प्रत्येक AI प्रोव्हायडर त्याला सपोर्ट करत नाही. त्याचा स्वीकार वेगवेगळ्या प्रमाणात आहे, आणि एखादा विशिष्ट AI असिस्टंट ही फाइल वाचेलच असे गृहीत धरू नये.
- हमी नाही. llms.txt असल्याने अधिक वेळा उद्धृत होणे किंवा उल्लेख होणे असे होत नाही.
- robots.txt चा पर्याय नाही. llms.txt क्रॉलर्सचा प्रवेश नियंत्रित करत नाही.
- चांगल्या कंटेंटचा पर्याय नाही. एखादा नीटनेटका सारांश नेमकी माहिती नसलेल्या पेजेसची उणीव भरून काढू शकत नाही.
आपण llms.txt तयार करावी का?
करू शकता, जोपर्यंत आपण तिला एक छोटे, ऐच्छिक काम मानता. खर्च कमी आहे: एक मजकूर फाइल, जी साइटची रचना बदलल्यावर अपडेट करायची. आपण ती तयार केल्यास, फाइल छोटी आणि अचूक ठेवा, फक्त कॅनॉनिकल पेजेसना लिंक करा, आणि ती वेबसाइटवर प्रत्यक्षात असलेल्या माहितीशी सुसंगत राहील याची खात्री करा. केवळ या फाइलमुळे मोजता येण्याजोगा बदल होईल अशी अपेक्षा ठेवू नका, आणि अधिक मूलभूत कामांच्या आधी तिला प्राधान्य देऊ नका.
आधी काय तपासावे?
- robots.txt उघडा आणि AI क्रॉलर्सना नकळत ब्लॉक करणारे नियम शोधा.
- प्रोव्हायडर्सच्या डॉक्युमेंटेशनच्या आधारे प्रत्येक प्रकारच्या क्रॉलरसाठी धोरण ठरवा.
- आपल्या फायरवॉल आणि बॉट-प्रोटेक्शन सेटिंग्ज तपासा.
- मुख्य कंटेंट लॉग-इनशिवाय मजकूर म्हणून वाचता येतो याची खात्री करा.
- वरील पायऱ्या पूर्ण झाल्यानंतर llms.txt चा विचार करा.
- वेळोवेळी आढावा घ्या.
ॲक्सेसिबिलिटी हा फक्त पहिला स्तर आहे. AI ने ब्रँडला योग्यरीत्या समजून घ्यावे आणि त्याला उद्धृत करण्याचे कारण असावे, यासाठी ब्रँडला एंटिटीचा पाया, उद्धृत करण्याजोगा कंटेंट आणि अनेक स्रोतांवरील उपस्थिती यांचीही गरज असते. आपण G.E.O फ्रेमवर्क किंवा GEONGON च्या एंटिटी आणि स्कीमा सेवेबद्दल वाचू शकता.