robots.txt adalah file yang digunakan website untuk memberi tahu crawler, termasuk yang dijalankan perusahaan AI, bagian situs mana yang boleh diakses. llms.txt adalah konvensi yang diusulkan: file Markdown di root situs yang merangkum isi situs untuk model bahasa. Keduanya tidak menjamin brand akan muncul dalam jawaban AI: robots.txt adalah permintaan yang dipatuhi crawler yang berperilaku baik, sedangkan llms.txt bukan standar resmi dan dukungannya berbeda-beda di setiap penyedia.
Poin penting
- robots.txt menyatakan crawler mana yang dipersilakan masuk. Memblokir crawler AI karena kesalahan dapat membuat konten Anda tidak digunakan dalam jawaban.
- Sebagian crawler mengumpulkan data untuk melatih model; yang lain mengambil halaman untuk menjawab pertanyaan pengguna. Putuskan kebijakan untuk masing-masing jenis secara terpisah.
- llms.txt adalah sebuah usulan: berbiaya rendah, opsional, dan tidak menjamin apa pun.
- Perilaku crawler berubah dari waktu ke waktu, jadi periksa dokumentasi resmi setiap penyedia.
Apa hubungan robots.txt dengan AI?
robots.txt berada di root website dan memuat aturan berdasarkan nama crawler (user agent): crawler mana yang boleh masuk, dan bagian mana yang harus dihindari. Perusahaan AI memublikasikan nama-nama yang mereka gunakan agar pemilik situs dapat menetapkan aturan khusus untuk mereka. Beberapa yang mungkin Anda temui:
- GPTBot
- OAI-SearchBot
- ChatGPT-User
- ClaudeBot
- PerplexityBot
- Google-Extended
Sintaksnya sama dengan aturan robots.txt lainnya:
User-agent: <nama crawler>
Disallow: /folder-yang-ingin-dilewati-crawler/
Setiap penyedia menjelaskan fungsi setiap nama dalam dokumentasinya sendiri. Daftar dan perilakunya dapat berubah, jadi jangan mengandalkan artikel mana pun, termasuk artikel ini, sebagai pengganti dokumentasi aslinya.
Apa bedanya crawler pelatihan dengan crawler penjawab?
Secara garis besar, ada dua tujuan utama:
- Mengumpulkan data untuk melatih model. Konten menjadi bahan belajar untuk versi model berikutnya.
- Mengambil halaman untuk menjawab pertanyaan. Saat pengguna bertanya, sistem mencari dan membaca halaman yang relevan untuk menyusun jawabannya, sering kali disertai sumber.
Perbedaan ini penting saat Anda mengambil keputusan. Aturan menyeluruh yang memblokir semua crawler AI dapat secara tidak sengaja mengeluarkan website dari jawaban berbasis retrieval, padahal yang sebenarnya diinginkan bisnis hanyalah membatasi penggunaan kontennya untuk pelatihan. Jenis mana yang diizinkan atau diblokir adalah keputusan bisnis masing-masing organisasi; yang perlu dihindari adalah memblokir tanpa mengetahui apa yang Anda blokir.
Apa yang bisa dan tidak bisa dilakukan robots.txt?
- Ini adalah permintaan, bukan mekanisme penegakan. Crawler yang berperilaku baik mematuhinya; file ini tidak mencegah akses secara teknis. Konten yang perlu dilindungi sebaiknya berada di balik login atau kontrol akses.
- Diizinkan tidak berarti digunakan. Membuka pintu bagi crawler hanyalah prasyarat. Apakah konten dipilih tetap bergantung pada kualitas dan relevansinya. Baca cara AI memilih sumbernya.
- Bukan satu-satunya penghalang. Firewall, layanan perlindungan bot, atau konfigurasi server juga dapat memblokir crawler AI meskipun robots.txt mengizinkannya.
Apa itu llms.txt?
llms.txt adalah konvensi yang diusulkan: menempatkan file Markdown di root website yang merangkum isi situs untuk model bahasa. File ini biasanya berisi nama situs, pengantar singkat, dan daftar tautan ke halaman-halaman terpenting, masing-masing dengan deskripsi singkat. Idenya adalah memberikan peta yang ringkas dan mudah dibaca kepada model, alih-alih membiarkannya menelusuri seluruh struktur situs sendiri.
Apa yang bukan llms.txt?
- Bukan standar resmi. Untuk saat ini, llms.txt masih berupa usulan.
- Tidak didukung semua penyedia AI. Tingkat adopsinya berbeda-beda, dan Anda tidak boleh berasumsi bahwa asisten AI tertentu akan membaca file ini.
- Bukan jaminan. Memiliki llms.txt tidak berarti lebih sering dikutip atau disebut.
- Bukan pengganti robots.txt. llms.txt tidak mengatur akses crawler.
- Bukan pengganti konten yang baik. Ringkasan yang rapi tidak dapat menutupi halaman yang kekurangan informasi spesifik.
Perlukah Anda membuat llms.txt?
Boleh saja, asalkan Anda memperlakukannya sebagai tugas kecil yang opsional. Biayanya rendah: satu file teks, diperbarui saat struktur situs berubah. Jika Anda membuatnya, buat file tetap singkat dan akurat, tautkan hanya ke halaman kanonis, dan pastikan isinya tetap konsisten dengan apa yang sebenarnya ada di website. Jangan berharap file ini saja akan menghasilkan perubahan yang terukur, dan jangan mendahulukannya di atas pekerjaan yang lebih mendasar.
Apa yang perlu diperiksa lebih dulu?
- Buka robots.txt dan cari aturan yang memblokir crawler AI secara tidak sengaja.
- Tetapkan kebijakan untuk setiap jenis crawler berdasarkan dokumentasi penyedia.
- Periksa pengaturan firewall dan perlindungan bot Anda.
- Pastikan konten utama dapat dibaca sebagai teks tanpa login.
- Pertimbangkan llms.txt setelah langkah-langkah di atas selesai.
- Tinjau secara berkala.
Aksesibilitas hanyalah lapisan pertama. Agar AI memahami brand dengan benar dan memiliki alasan untuk mengutipnya, brand juga membutuhkan fondasi entitas, konten yang layak dikutip, dan kehadiran di banyak sumber. Anda dapat membaca tentang kerangka G.E.O atau layanan Entity & Schema dari GEONGON.