ملف robots.txt هو الملف الذي يستخدمه الموقع الإلكتروني ليخبر برامج الزحف (Crawlers)، بما فيها تلك التي تشغّلها شركات الذكاء الاصطناعي، بالأجزاء التي يُسمح لها بالوصول إليها. أما llms.txt فهو عُرف مقترح: ملف بصيغة Markdown في جذر الموقع يلخّص الموقع للنماذج اللغوية. ولا يضمن أيٌّ منهما ظهور العلامة التجارية في إجابات الذكاء الاصطناعي: فملف robots.txt طلب تلتزم به برامج الزحف حسنة السلوك، وllms.txt ليس معيارًا رسميًا، ويختلف دعمه من مزوّد إلى آخر.
أبرز النقاط
- يحدد robots.txt برامج الزحف المرحَّب بها. وقد يؤدي حجب برامج الزحف التابعة للذكاء الاصطناعي عن طريق الخطأ إلى منع استخدام محتواك في الإجابات.
- بعض برامج الزحف يجمع البيانات لتدريب النماذج، وبعضها يجلب الصفحات للإجابة عن سؤال المستخدم. اتخذ قرارًا منفصلًا بشأن كل نوع.
- llms.txt مجرد مقترح: منخفض التكلفة، واختياري، ولا يضمن شيئًا.
- يتغير سلوك برامج الزحف مع الوقت، لذا راجع الوثائق الرسمية لكل مزوّد.
ما علاقة robots.txt بالذكاء الاصطناعي؟
يوجد ملف robots.txt في جذر الموقع الإلكتروني، ويتضمن قواعد حسب اسم برنامج الزحف (User agent): أي برامج الزحف يُسمح لها بالدخول، وأي الأقسام ينبغي أن تبتعد عنها. وتنشر شركات الذكاء الاصطناعي الأسماء التي تستخدمها ليتمكن أصحاب المواقع من وضع قواعد خاصة بها. ومن الأسماء التي يُرجَّح أن تصادفها:
- GPTBot
- OAI-SearchBot
- ChatGPT-User
- ClaudeBot
- PerplexityBot
- Google-Extended
والصياغة هي نفسها المتبعة في أي قاعدة أخرى في robots.txt:
User-agent: <crawler name>
Disallow: /a-folder-you-want-crawlers-to-skip/
يصف كل مزوّد الغرض من كل اسم في وثائقه الخاصة. وقد تتغير القائمة والسلوك، فلا تعتمد على أي مقال، بما في ذلك هذا المقال، بديلًا عن الوثائق الأصلية.
ما الفرق بين برامج زحف التدريب وبرامج زحف الإجابة؟
بشكل عام، هناك غرضان رئيسيان:
- جمع البيانات لتدريب النماذج. يصبح المحتوى مادة تعليمية للإصدارات اللاحقة من النموذج.
- جلب الصفحات للإجابة عن سؤال. عندما يسأل المستخدم عن شيء، يبحث النظام عن الصفحات ذات الصلة ويقرؤها ليصوغ إجابته، غالبًا مع إرفاق المصادر.
ويهم هذا التمييز عند اتخاذ القرارات. فالقاعدة الشاملة التي تحجب جميع برامج الزحف التابعة للذكاء الاصطناعي قد تُخرج الموقع دون قصد من الإجابات القائمة على الاسترجاع، في حين أن كل ما أرادته الشركة فعلًا هو الحد من استخدام محتواها في التدريب. وتحديد الأنواع التي يُسمح بها أو تُحجب قرار تجاري يعود لكل مؤسسة؛ وما ينبغي تجنبه هو الحجب دون معرفة ما الذي تحجبه.
ما الذي يستطيع robots.txt فعله، وما الذي لا يستطيعه؟
- إنه طلب، لا آلية إلزام. تلتزم به برامج الزحف حسنة السلوك، لكن الملف لا يمنع الوصول تقنيًا. والمحتوى الذي يحتاج إلى حماية ينبغي أن يكون خلف تسجيل دخول أو ضوابط وصول.
- السماح لا يعني الاستخدام. فتح الباب لبرامج الزحف مجرد شرط مسبق. ويظل اختيار المحتوى معتمدًا على جودته وصلته بالسؤال. راجع كيف يختار الذكاء الاصطناعي مصادره.
- ليس الحاجز الوحيد. قد يحجب جدار الحماية أو خدمة الحماية من الروبوتات أو إعدادات الخادم برامج الزحف التابعة للذكاء الاصطناعي حتى عندما يسمح بها robots.txt.
ما هو llms.txt؟
llms.txt عُرف مقترح: يُوضع ملف بصيغة Markdown في جذر الموقع الإلكتروني يلخّص الموقع للنماذج اللغوية. ويتضمن عادةً اسم الموقع، ومقدمة قصيرة، وقائمة روابط إلى أهم الصفحات مع وصف موجز لكل منها. والفكرة هي أن تقدّم للنموذج خريطة مدمجة وسهلة القراءة، بدلًا من تركه يشق طريقه وحده عبر بنية الموقع الكاملة.
ما الذي ليس من llms.txt؟
- ليس معيارًا رسميًا. فهو حتى الآن مجرد مقترح.
- لا يدعمه كل مزوّدي الذكاء الاصطناعي. يتفاوت اعتماده، ولا ينبغي أن تفترض أن مساعد ذكاء اصطناعي بعينه سيقرأ الملف.
- ليس ضمانًا. وجود llms.txt لا يعني أن يُستشهد بك أو تُذكر أكثر.
- ليس بديلًا عن robots.txt. فـ llms.txt لا يتحكم في وصول برامج الزحف.
- ليس بديلًا عن المحتوى الجيد. الملخص المرتب لا يعوّض الصفحات التي تفتقر إلى معلومات محددة.
هل ينبغي أن تنشئ ملف llms.txt؟
يمكنك ذلك، ما دمت تتعامل معه بوصفه مهمة صغيرة واختيارية. فالتكلفة منخفضة: ملف نصي واحد يُحدَّث عند تغير بنية الموقع. وإذا قررت إنشاءه، فاجعله قصيرًا ودقيقًا، واربطه بالصفحات المعيارية فقط، وتأكد من أنه يظل متسقًا مع ما هو موجود فعلًا على الموقع الإلكتروني. ولا تتوقع أن يُحدث هذا الملف وحده تغييرًا قابلًا للقياس، ولا تقدّمه على العمل الأكثر جوهرية.
ما الذي ينبغي أن تتحقق منه أولًا؟
- افتح robots.txt وابحث عن قواعد تحجب برامج الزحف التابعة للذكاء الاصطناعي دون قصد.
- حدد سياسة لكل نوع من برامج الزحف استنادًا إلى وثائق المزوّدين.
- تحقق من إعدادات جدار الحماية والحماية من الروبوتات.
- تأكد من أن المحتوى الرئيسي قابل للقراءة نصًا دون تسجيل دخول.
- فكّر في llms.txt بعد إتمام الخطوات السابقة.
- راجع الإعدادات دوريًا.
إمكانية الوصول هي الطبقة الأولى فقط. فلكي يفهم الذكاء الاصطناعي العلامة التجارية فهمًا صحيحًا ويجد سببًا للاستشهاد بها، تحتاج العلامة التجارية أيضًا إلى أسس كيان متينة، ومحتوى قابل للاستشهاد، وحضور في مصادر متعددة. يمكنك القراءة عن إطار G.E.O أو عن خدمة الكيانات وSchema من GEONGON.