robots.txt হলো সেই ফাইল, যার মাধ্যমে একটি ওয়েবসাইট ক্রলারদের, AI কোম্পানিগুলোর চালানো ক্রলারসহ, জানায় সাইটের কোন অংশে তারা প্রবেশ করতে পারবে। llms.txt একটি প্রস্তাবিত রীতি: সাইটের রুটে রাখা একটি Markdown ফাইল, যা ল্যাঙ্গুয়েজ মডেলের জন্য সাইটের সারসংক্ষেপ তুলে ধরে। এদের কোনোটিই নিশ্চয়তা দেয় না যে কোনো ব্র্যান্ড AI-এর উত্তরে আসবে: robots.txt একটি অনুরোধ, যা নিয়ম মেনে চলা ক্রলাররা অনুসরণ করে, আর llms.txt কোনো অফিশিয়াল স্ট্যান্ডার্ড নয় এবং এর সমর্থন এক প্রোভাইডার থেকে আরেক প্রোভাইডারে ভিন্ন।
মূল কথা
- robots.txt বলে দেয় কোন ক্রলারদের ভেতরে আসতে দেওয়া হয়েছে। ভুলবশত AI ক্রলার আটকে দিলে আপনার কনটেন্ট উত্তরে ব্যবহৃত না-ও হতে পারে।
- কিছু ক্রলার মডেল প্রশিক্ষণের জন্য ডেটা সংগ্রহ করে; অন্যগুলো ব্যবহারকারীর প্রশ্নের উত্তর দিতে পেজ সংগ্রহ করে। প্রতিটি ধরন নিয়ে আলাদাভাবে সিদ্ধান্ত নিন।
- llms.txt একটি প্রস্তাব: স্বল্প খরচের, ঐচ্ছিক, এবং কোনো কিছুরই নিশ্চয়তা নয়।
- ক্রলারের আচরণ সময়ের সাথে বদলায়, তাই প্রতিটি প্রোভাইডারের অফিশিয়াল ডকুমেন্টেশন দেখে নিন।
AI-এর সাথে robots.txt-এর সম্পর্ক কী?
robots.txt একটি ওয়েবসাইটের রুটে থাকে এবং ক্রলারের নাম (user agent) অনুযায়ী নিয়ম ধারণ করে: কোন ক্রলার প্রবেশ করতে পারবে এবং কোন অংশ থেকে তাদের দূরে থাকা উচিত। AI কোম্পানিগুলো তাদের ব্যবহৃত নামগুলো প্রকাশ করে, যাতে সাইটের মালিকরা তাদের জন্য নির্দিষ্ট নিয়ম ঠিক করতে পারেন। যেগুলোর সাথে আপনার দেখা হওয়ার সম্ভাবনা বেশি, তার কয়েকটি:
- GPTBot
- OAI-SearchBot
- ChatGPT-User
- ClaudeBot
- PerplexityBot
- Google-Extended
সিনট্যাক্স অন্য যেকোনো robots.txt নিয়মের মতোই:
User-agent: <ক্রলারের নাম>
Disallow: /যে-ফোল্ডার-ক্রলারদের-এড়িয়ে-যাওয়া-উচিত/
প্রতিটি প্রোভাইডার নিজস্ব ডকুমেন্টেশনে প্রতিটি নামের উদ্দেশ্য বর্ণনা করে। তালিকা ও আচরণ বদলাতে পারে, তাই মূল ডকুমেন্টেশনের পরিবর্তে কোনো নিবন্ধের ওপর নির্ভর করবেন না, এই নিবন্ধটিসহ।
প্রশিক্ষণের ক্রলার আর উত্তরের ক্রলারের পার্থক্য কী?
মোটা দাগে দুটি প্রধান উদ্দেশ্য আছে:
- মডেল প্রশিক্ষণের জন্য ডেটা সংগ্রহ। কনটেন্টটি মডেলের পরবর্তী সংস্করণগুলোর শেখার উপকরণে পরিণত হয়।
- প্রশ্নের উত্তর দিতে পেজ সংগ্রহ। ব্যবহারকারী কিছু জিজ্ঞাসা করলে সিস্টেম প্রাসঙ্গিক পেজ খুঁজে পড়ে এবং উত্তর তৈরি করে, প্রায়ই উৎস যুক্ত করে।
সিদ্ধান্ত নেওয়ার সময় এই পার্থক্য গুরুত্বপূর্ণ। সব AI ক্রলারের বিরুদ্ধে একটি ঢালাও নিয়ম অনিচ্ছাকৃতভাবে একটি ওয়েবসাইটকে রিট্রিভাল-নির্ভর উত্তর থেকে সরিয়ে দিতে পারে, অথচ ব্যবসাটি আসলে শুধু প্রশিক্ষণের জন্য তার কনটেন্টের ব্যবহার সীমিত করতে চেয়েছিল। কোন ধরন অনুমোদন করবেন বা আটকাবেন, তা প্রতিটি প্রতিষ্ঠানের নিজস্ব ব্যবসায়িক সিদ্ধান্ত; যা এড়াতে হবে তা হলো কী আটকাচ্ছেন না জেনেই আটকে দেওয়া।
robots.txt কী করতে পারে, আর কী পারে না?
- এটি একটি অনুরোধ, প্রয়োগের ব্যবস্থা নয়। নিয়ম মেনে চলা ক্রলাররা এটি অনুসরণ করে; ফাইলটি প্রযুক্তিগতভাবে অ্যাক্সেস ঠেকায় না। যে কনটেন্ট সুরক্ষিত রাখা দরকার, তা লগইন বা অ্যাক্সেস কন্ট্রোলের পেছনে রাখা উচিত।
- অনুমতি মানেই ব্যবহার নয়। ক্রলারদের জন্য দরজা খোলা কেবল একটি পূর্বশর্ত। কনটেন্ট বাছাই হবে কি না, তা এখনো এর মান ও প্রাসঙ্গিকতার ওপর নির্ভর করে। দেখুন AI কীভাবে উৎস বাছাই করে।
- এটিই একমাত্র বাধা নয়। robots.txt অনুমতি দিলেও একটি ফায়ারওয়াল, বট-সুরক্ষা সেবা বা সার্ভার কনফিগারেশন AI ক্রলার আটকে দিতে পারে।
llms.txt কী?
llms.txt একটি প্রস্তাবিত রীতি: ওয়েবসাইটের রুটে একটি Markdown ফাইল রাখা, যা ল্যাঙ্গুয়েজ মডেলের জন্য সাইটের সারসংক্ষেপ তুলে ধরে। এতে সাধারণত থাকে সাইটের নাম, একটি সংক্ষিপ্ত পরিচিতি এবং সবচেয়ে গুরুত্বপূর্ণ পেজগুলোর লিংকের তালিকা, প্রতিটির সাথে সংক্ষিপ্ত বিবরণ। ধারণাটি হলো, পুরো সাইটের কাঠামো নিজে নিজে ঘেঁটে দেখার দায়িত্ব মডেলের ওপর না ছেড়ে তাকে একটি সংক্ষিপ্ত, সহজপাঠ্য মানচিত্র দেওয়া।
llms.txt কী নয়?
- অফিশিয়াল স্ট্যান্ডার্ড নয়। আপাতত এটি একটি প্রস্তাব।
- সব AI প্রোভাইডার এটি সমর্থন করে না। গ্রহণের মাত্রা ভিন্ন ভিন্ন, এবং কোনো নির্দিষ্ট AI সহকারী ফাইলটি পড়বে বলে ধরে নেওয়া উচিত নয়।
- নিশ্চয়তা নয়। একটি llms.txt থাকা মানে বেশি বার উদ্ধৃত বা উল্লেখিত হওয়া নয়।
- robots.txt-এর বিকল্প নয়। llms.txt ক্রলারের অ্যাক্সেস নিয়ন্ত্রণ করে না।
- ভালো কনটেন্টের বিকল্প নয়। একটি গোছানো সারসংক্ষেপ সুনির্দিষ্ট তথ্যহীন পেজের ঘাটতি পূরণ করতে পারে না।
আপনার কি একটি llms.txt তৈরি করা উচিত?
করতে পারেন, যদি এটিকে একটি ছোট, ঐচ্ছিক কাজ হিসেবে দেখেন। খরচ কম: একটি টেক্সট ফাইল, যা সাইটের কাঠামো বদলালে হালনাগাদ করতে হয়। তৈরি করলে ফাইলটি ছোট ও নির্ভুল রাখুন, শুধু ক্যানোনিকাল পেজের লিংক দিন এবং নিশ্চিত করুন যে ওয়েবসাইটে আসলে যা আছে তার সাথে এটি সামঞ্জস্যপূর্ণ থাকে। শুধু এই ফাইল থেকেই পরিমাপযোগ্য পরিবর্তন আশা করবেন না, এবং আরও মৌলিক কাজের আগে এটিকে স্থান দেবেন না।
প্রথমে কী যাচাই করা উচিত?
- robots.txt খুলে দেখুন এমন কোনো নিয়ম আছে কি না, যা অনিচ্ছাকৃতভাবে AI ক্রলার আটকে দেয়।
- প্রোভাইডারদের ডকুমেন্টেশনের ভিত্তিতে প্রতিটি ধরনের ক্রলারের জন্য একটি নীতি ঠিক করুন।
- আপনার ফায়ারওয়াল ও বট-সুরক্ষা সেটিংস যাচাই করুন।
- নিশ্চিত করুন যে মূল কনটেন্ট লগইন ছাড়াই টেক্সট হিসেবে পড়া যায়।
- ওপরের ধাপগুলো সম্পন্ন হলে llms.txt বিবেচনা করুন।
- নিয়মিত বিরতিতে পর্যালোচনা করুন।
সহজলভ্যতা কেবল প্রথম স্তর। AI যেন একটি ব্র্যান্ডকে সঠিকভাবে বোঝে এবং উদ্ধৃত করার কারণ পায়, সেজন্য ব্র্যান্ডটির একটি এনটিটি ভিত্তি, উদ্ধৃতিযোগ্য কনটেন্ট এবং বহু উৎসে উপস্থিতিও প্রয়োজন। আপনি G.E.O ফ্রেমওয়ার্ক অথবা GEONGON-এর এনটিটি ও স্কিমা সেবা সম্পর্কে পড়তে পারেন।