robots.txt وہ فائل ہے جس کے ذریعے کوئی ویب سائٹ کرالرز کو، بشمول AI کمپنیوں کے کرالرز کے، بتاتی ہے کہ وہ سائٹ کے کن حصوں تک رسائی حاصل کر سکتے ہیں۔ llms.txt ایک مجوزہ طریقہ ہے: سائٹ کی روٹ پر ایک Markdown فائل جو لینگویج ماڈلز کے لیے سائٹ کا خلاصہ پیش کرتی ہے۔ ان میں سے کوئی بھی اس بات کی ضمانت نہیں دیتا کہ کوئی برانڈ AI کے جوابات میں نظر آئے گا: robots.txt ایک درخواست ہے جس کی پابندی اچھے رویے والے کرالرز کرتے ہیں، اور llms.txt کوئی سرکاری معیار نہیں، اور اس کی معاونت ایک فراہم کنندہ سے دوسرے تک مختلف ہے۔
اہم نکات
- robots.txt بتاتی ہے کہ کن کرالرز کو اندر آنے کی اجازت ہے۔ غلطی سے AI کرالرز کو بلاک کرنا آپ کے مواد کو جوابات میں استعمال ہونے سے روک سکتا ہے۔
- کچھ کرالرز ماڈلز کی تربیت کے لیے ڈیٹا جمع کرتے ہیں؛ دوسرے صارف کے سوال کا جواب دینے کے لیے صفحات حاصل کرتے ہیں۔ ہر قسم کے بارے میں الگ فیصلہ کریں۔
- llms.txt ایک تجویز ہے: کم لاگت، اختیاری، اور کسی چیز کی ضمانت نہیں۔
- کرالرز کا رویہ وقت کے ساتھ بدلتا ہے، اس لیے ہر فراہم کنندہ کی سرکاری دستاویزات دیکھیں۔
robots.txt کا AI سے کیا تعلق ہے؟
robots.txt ویب سائٹ کی روٹ پر ہوتی ہے اور کرالر کے نام (User agent) کے لحاظ سے قواعد رکھتی ہے: کون سے کرالرز داخل ہو سکتے ہیں، اور کن حصوں سے انہیں دور رہنا چاہیے۔ AI کمپنیاں اپنے استعمال کردہ نام شائع کرتی ہیں تاکہ سائٹ کے مالکان ان کے لیے مخصوص قواعد بنا سکیں۔ کچھ نام جن سے آپ کا واسطہ پڑ سکتا ہے:
- GPTBot
- OAI-SearchBot
- ChatGPT-User
- ClaudeBot
- PerplexityBot
- Google-Extended
اس کا طریقۂ تحریر robots.txt کے کسی بھی دوسرے قاعدے جیسا ہے:
User-agent: <crawler name>
Disallow: /a-folder-you-want-crawlers-to-skip/
ہر فراہم کنندہ اپنی دستاویزات میں بیان کرتا ہے کہ ہر نام کس مقصد کے لیے ہے۔ فہرست اور رویہ بدل سکتے ہیں، اس لیے اصل دستاویزات کے بجائے کسی مضمون پر، بشمول اس مضمون کے، انحصار نہ کریں۔
تربیتی کرالرز جوابی کرالرز سے کیسے مختلف ہیں؟
عمومی طور پر، دو بنیادی مقاصد ہیں:
- ماڈلز کی تربیت کے لیے ڈیٹا جمع کرنا۔ مواد کسی ماڈل کے آئندہ ورژنز کے لیے سیکھنے کا مواد بن جاتا ہے۔
- سوال کا جواب دینے کے لیے صفحات حاصل کرنا۔ جب کوئی صارف کچھ پوچھتا ہے تو سسٹم متعلقہ صفحات تلاش کر کے پڑھتا ہے تاکہ اپنا جواب مرتب کرے، اکثر ذرائع کے ساتھ۔
فیصلے کرتے وقت یہ فرق اہم ہے۔ تمام AI کرالرز کے خلاف ایک عمومی قاعدہ غیر ارادی طور پر کسی ویب سائٹ کو ریٹریول پر مبنی جوابات سے نکال سکتا ہے، جبکہ کاروبار دراصل صرف تربیت کے لیے اپنے مواد کے استعمال کو محدود کرنا چاہتا تھا۔ کن اقسام کو اجازت دینی ہے یا بلاک کرنا ہے، یہ ہر ادارے کا اپنا کاروباری فیصلہ ہے؛ جس چیز سے بچنا ہے وہ یہ جانے بغیر بلاک کرنا ہے کہ آپ کیا بلاک کر رہے ہیں۔
robots.txt کیا کر سکتی ہے، اور کیا نہیں؟
- یہ ایک درخواست ہے، نفاذ کا نظام نہیں۔ اچھے رویے والے کرالرز اس کی پابندی کرتے ہیں؛ فائل تکنیکی طور پر رسائی نہیں روکتی۔ جس مواد کو تحفظ درکار ہو اسے لاگ اِن یا رسائی کے کنٹرولز کے پیچھے ہونا چاہیے۔
- اجازت کا مطلب استعمال نہیں۔ کرالرز کے لیے دروازہ کھولنا صرف ایک پیشگی شرط ہے۔ مواد منتخب ہوتا ہے یا نہیں، یہ اب بھی اس کے معیار اور مطابقت پر منحصر ہے۔ دیکھیں AI اپنے ذرائع کیسے منتخب کرتا ہے۔
- یہ واحد رکاوٹ نہیں۔ فائر وال، بوٹ سے تحفظ کی سروس یا سرور کی کنفیگریشن بھی AI کرالرز کو بلاک کر سکتی ہے، چاہے robots.txt انہیں اجازت دیتی ہو۔
llms.txt کیا ہے؟
llms.txt ایک مجوزہ طریقہ ہے: ویب سائٹ کی روٹ پر ایک Markdown فائل رکھی جائے جو لینگویج ماڈلز کے لیے سائٹ کا خلاصہ پیش کرے۔ اس میں عموماً سائٹ کا نام، مختصر تعارف اور سب سے اہم صفحات کے لنکس کی فہرست ہوتی ہے، ہر ایک کی مختصر وضاحت کے ساتھ۔ خیال یہ ہے کہ ماڈل کو سائٹ کا پورا ڈھانچہ خود سمجھنے کے لیے چھوڑنے کے بجائے ایک مختصر اور قابلِ مطالعہ نقشہ دیا جائے۔
llms.txt کیا نہیں ہے؟
- سرکاری معیار نہیں۔ فی الحال یہ ایک تجویز ہے۔
- ہر AI فراہم کنندہ اسے سپورٹ نہیں کرتا۔ اسے اپنانے کی صورتِ حال مختلف ہے، اور یہ فرض نہیں کرنا چاہیے کہ کوئی مخصوص AI اسسٹنٹ یہ فائل پڑھے گا۔
- ضمانت نہیں۔ llms.txt موجود ہونے کا مطلب یہ نہیں کہ آپ کا حوالہ یا ذکر زیادہ ہوگا۔
- robots.txt کا متبادل نہیں۔ llms.txt کرالرز کی رسائی کو کنٹرول نہیں کرتی۔
- اچھے مواد کا متبادل نہیں۔ ایک صاف ستھرا خلاصہ ان صفحات کی کمی پوری نہیں کر سکتا جن میں مخصوص معلومات نہ ہوں۔
کیا آپ کو llms.txt بنانی چاہیے؟
آپ بنا سکتے ہیں، بشرطیکہ اسے ایک چھوٹا، اختیاری کام سمجھیں۔ لاگت کم ہے: ایک ٹیکسٹ فائل، جو سائٹ کا ڈھانچہ بدلنے پر اپ ڈیٹ کی جائے۔ اگر آپ یہ کریں تو فائل کو مختصر اور درست رکھیں، صرف کینونیکل صفحات کے لنکس دیں، اور یقینی بنائیں کہ یہ ویب سائٹ پر حقیقتاً موجود مواد سے ہم آہنگ رہے۔ صرف اس فائل سے کسی قابلِ پیمائش تبدیلی کی توقع نہ رکھیں، اور اسے زیادہ بنیادی کام پر ترجیح نہ دیں۔
سب سے پہلے کیا جانچنا چاہیے؟
- robots.txt کھولیں اور ایسے قواعد تلاش کریں جو غیر ارادی طور پر AI کرالرز کو بلاک کرتے ہوں۔
- فراہم کنندگان کی دستاویزات کی بنیاد پر ہر قسم کے کرالر کے لیے پالیسی طے کریں۔
- اپنی فائر وال اور بوٹ سے تحفظ کی سیٹنگز جانچیں۔
- یقینی بنائیں کہ بنیادی مواد لاگ اِن کے بغیر متن کی صورت میں پڑھا جا سکتا ہے۔
- اوپر کے مراحل مکمل ہونے کے بعد llms.txt پر غور کریں۔
- وقتاً فوقتاً جائزہ لیتے رہیں۔
قابلِ رسائی ہونا صرف پہلی پرت ہے۔ AI کسی برانڈ کو درست سمجھے اور اس کا حوالہ دینے کی وجہ رکھے، اس کے لیے برانڈ کو اینٹیٹی کی بنیاد، حوالے کے لائق مواد اور متعدد ذرائع پر موجودگی بھی درکار ہے۔ آپ G.E.O فریم ورک یا GEONGON کی اینٹیٹی اور Schema خدمت کے بارے میں پڑھ سکتے ہیں۔