robots.txt فایلی است که وبسایت با آن به خزندهها (Crawlers)، از جمله خزندههای شرکتهای هوش مصنوعی، میگوید به کدام بخشهای سایت اجازه دسترسی دارند. llms.txt یک قرارداد پیشنهادی است: فایلی با قالب Markdown در ریشه سایت که سایت را برای مدلهای زبانی خلاصه میکند. هیچیک از این دو تضمین نمیکند که برند در پاسخهای هوش مصنوعی ظاهر شود: robots.txt درخواستی است که خزندههای خوشرفتار رعایتش میکنند و llms.txt استاندارد رسمی نیست و پشتیبانی از آن از ارائهدهندهای به ارائهدهنده دیگر فرق میکند.
نکات کلیدی
- robots.txt مشخص میکند کدام خزندهها دعوتاند. مسدود کردن اشتباهی خزندههای هوش مصنوعی میتواند مانع استفاده از محتوای شما در پاسخها شود.
- برخی خزندهها برای آموزش مدلها داده جمع میکنند؛ برخی دیگر صفحات را برای پاسخ به پرسش کاربر دریافت میکنند. درباره هر نوع جداگانه تصمیم بگیرید.
- llms.txt یک پیشنهاد است: کمهزینه، اختیاری و بدون هیچ تضمینی.
- رفتار خزندهها با گذشت زمان تغییر میکند، پس مستندات رسمی هر ارائهدهنده را بررسی کنید.
robots.txt چه ربطی به هوش مصنوعی دارد؟
robots.txt در ریشه وبسایت قرار دارد و قواعدی را بر اساس نام خزنده (User agent) در خود دارد: کدام خزندهها میتوانند وارد شوند و از کدام بخشها باید دور بمانند. شرکتهای هوش مصنوعی نامهایی را که به کار میبرند منتشر میکنند تا صاحبان سایت بتوانند برایشان قواعد مشخصی تعیین کنند. برخی نامهایی که احتمالاً با آنها روبهرو میشوید:
- GPTBot
- OAI-SearchBot
- ChatGPT-User
- ClaudeBot
- PerplexityBot
- Google-Extended
نحو آن همانند هر قاعده دیگری در robots.txt است:
User-agent: <crawler name>
Disallow: /a-folder-you-want-crawlers-to-skip/
هر ارائهدهنده کاربرد هر نام را در مستندات خودش شرح میدهد. فهرست و رفتار ممکن است تغییر کند، پس بهجای مستندات اصلی به هیچ مقالهای، از جمله همین مقاله، تکیه نکنید.
خزندههای آموزشی با خزندههای پاسخگو چه تفاوتی دارند؟
بهطور کلی دو هدف اصلی وجود دارد:
- جمعآوری داده برای آموزش مدلها. محتوا به ماده آموزشی نسخههای بعدی یک مدل تبدیل میشود.
- دریافت صفحات برای پاسخ به یک پرسش. وقتی کاربر چیزی میپرسد، سیستم صفحات مرتبط را پیدا میکند و میخواند تا پاسخ خود را بسازد، اغلب همراه با منابع.
این تمایز هنگام تصمیمگیری اهمیت دارد. یک قاعده کلی علیه همه خزندههای هوش مصنوعی میتواند ناخواسته وبسایت را از پاسخهای مبتنی بر بازیابی حذف کند، در حالی که تنها خواسته کسبوکار محدود کردن استفاده از محتوایش برای آموزش بوده است. اینکه کدام نوع مجاز یا مسدود باشد، تصمیم تجاری خود هر سازمان است؛ چیزی که باید از آن پرهیز کرد مسدود کردن بدون دانستن این است که چه چیزی را مسدود میکنید.
robots.txt چه کاری میتواند بکند و چه کاری نمیتواند؟
- یک درخواست است، نه سازوکار اجباری. خزندههای خوشرفتار از آن پیروی میکنند؛ اما این فایل از نظر فنی مانع دسترسی نمیشود. محتوایی که نیاز به حفاظت دارد باید پشت ورود به حساب کاربری یا کنترل دسترسی باشد.
- مجاز بودن به معنای استفاده شدن نیست. باز کردن در به روی خزندهها فقط یک پیششرط است. انتخاب شدن محتوا همچنان به کیفیت و ارتباط آن بستگی دارد. هوش مصنوعی چگونه منابع خود را انتخاب میکند را ببینید.
- تنها مانع نیست. فایروال، سرویس محافظت در برابر رباتها یا پیکربندی سرور هم میتواند خزندههای هوش مصنوعی را مسدود کند، حتی وقتی robots.txt به آنها اجازه داده است.
llms.txt چیست؟
llms.txt یک قرارداد پیشنهادی است: فایلی با قالب Markdown در ریشه وبسایت قرار میگیرد که سایت را برای مدلهای زبانی خلاصه میکند. این فایل معمولاً شامل نام سایت، معرفی کوتاه و فهرستی از پیوندهای مهمترین صفحات است که هر کدام توضیح کوتاهی دارند. ایده این است که بهجای آنکه مدل خودش در کل ساختار سایت راه پیدا کند، نقشهای فشرده و خوانا به او داده شود.
llms.txt چه چیزی نیست؟
- استاندارد رسمی نیست. فعلاً یک پیشنهاد است.
- همه ارائهدهندگان هوش مصنوعی از آن پشتیبانی نمیکنند. میزان پذیرش متفاوت است و نباید فرض کنید که دستیار هوش مصنوعی خاصی این فایل را میخواند.
- تضمین نیست. داشتن llms.txt به معنای استناد یا نام برده شدن بیشتر نیست.
- جایگزین robots.txt نیست. llms.txt دسترسی خزندهها را کنترل نمیکند.
- جایگزین محتوای خوب نیست. یک خلاصه مرتب نمیتواند کمبود اطلاعات مشخص در صفحات را جبران کند.
آیا باید llms.txt بسازید؟
میتوانید، به شرطی که آن را کاری کوچک و اختیاری بدانید. هزینهاش کم است: یک فایل متنی که هنگام تغییر ساختار سایت بهروز میشود. اگر آن را میسازید، فایل را کوتاه و دقیق نگه دارید، فقط به صفحات اصلی (Canonical) پیوند دهید و مطمئن شوید با آنچه واقعاً در وبسایت هست همخوان میماند. انتظار نداشته باشید این فایل بهتنهایی تغییری قابل سنجش ایجاد کند و آن را بر کارهای بنیادیتر مقدم ندارید.
ابتدا چه چیزی را بررسی کنید؟
- robots.txt را باز کنید و دنبال قواعدی بگردید که ناخواسته خزندههای هوش مصنوعی را مسدود میکنند.
- بر اساس مستندات ارائهدهندگان، برای هر نوع خزنده سیاستی تعیین کنید.
- تنظیمات فایروال و محافظت در برابر رباتها را بررسی کنید.
- مطمئن شوید محتوای اصلی بدون ورود به حساب کاربری بهصورت متن قابل خواندن است.
- پس از انجام گامهای بالا، llms.txt را در نظر بگیرید.
- بهطور دورهای بازبینی کنید.
در دسترس بودن فقط لایه نخست است. برای اینکه هوش مصنوعی برند را درست بفهمد و دلیلی برای استناد به آن داشته باشد، برند به پایه موجودیت، محتوای قابل استناد و حضور در منابع متعدد هم نیاز دارد. میتوانید درباره چارچوب G.E.O یا خدمت موجودیت و Schema در GEONGON بخوانید.