tigtools

Generator Robots.txt

Tentukan URL yang boleh diakses crawler, tambahkan aturan untuk bot tertentu, lalu unduh robots.txt yang valid untuk direktori utama situs Anda.

Berjalan di browser Anda Tanpa perlu mendaftar

Preset
Semua crawler (User-agent: *)
Kebijakan default

Setiap path harus diawali dengan / atau *. Gunakan $ untuk mencocokkan akhir URL, misalnya /*.pdf$.

Google mengabaikan Crawl-delay; beberapa crawler lain mematuhinya.

Aturan untuk crawler tertentu

Menambahkan grup yang melarang GPTBot, CCBot, Google-Extended, ClaudeBot, dan PerplexityBot. Kepatuhan terhadap robots.txt bersifat sukarela.

robots.txt bersifat publik: siapa pun dapat membacanya, dan file ini dapat mengungkapkan path yang Anda cantumkan. File ini hanya meminta crawler yang mematuhi aturan untuk tidak mengambil halaman; file ini tidak melindungi apa pun. Gunakan autentikasi untuk konten privat, dan noindex untuk halaman yang tidak boleh muncul di hasil penelusuran.

Cara menggunakan

  1. Pilih kebijakan default untuk semua crawler dan tambahkan path yang tidak boleh mereka akses, seperti /cart/ atau /search.
  2. Tambahkan grup untuk crawler tertentu jika mereka memerlukan aturan berbeda, atau gunakan preset.
  3. Tambahkan URL lengkap peta situs XML Anda.
  4. Unduh robots.txt dan unggah ke direktori utama situs Anda, agar dapat diakses di https://your-domain/robots.txt.

Cara kerja

robots.txt adalah file teks biasa di direktori utama host yang memberi tahu crawler URL mana yang boleh diakses. Format ini distandardisasi sebagai RFC 9309. File ini berisi grup: satu atau beberapa baris User-agent, diikuti aturan Allow dan Disallow. Crawler menggunakan grup yang paling spesifik cocok dengan namanya, dan jika tidak ada, menggunakan grup *; crawler tidak menggabungkan grupnya sendiri dengan grup *. Dalam satu grup, aturan cocok yang paling spesifik (terpanjang) berlaku, dan Allow menang jika sama panjang.

Path dicocokkan dari awal path URL dan peka huruf besar-kecil. * mencocokkan urutan karakter apa pun dan $ menandai akhir URL. “Disallow:” yang kosong berarti tidak ada yang diblokir. Baris dalam tool ini yang tidak diawali / atau * akan diabaikan dan ditandai, karena crawler juga akan mengabaikannya. Baris Sitemap harus berupa URL absolut dan berlaku untuk seluruh file, bukan hanya satu grup.

Batasan penting: robots.txt mengatur crawling, bukan pengindeksan. URL yang diblokir tetap dapat muncul di hasil penelusuran jika ditautkan dari halaman lain, hanya saja tanpa deskripsi. Agar halaman tidak muncul di hasil penelusuran, izinkan crawling dan gunakan tag meta robots noindex. Setiap host dan protokol memerlukan file tersendiri, jadi blog.example.com memerlukan robots.txt terpisah.

Contoh

Toko yang menyembunyikan keranjang dan penelusuran internal

Izinkan semua, lalu larang akses ke /cart/, /checkout/ dan /search. Tambahkan Sitemap: https://example.com/sitemap.xml. Halaman produk dan kategori tetap dapat di-crawl.

Situs staging

Pilih “Larang semua”. Crawler yang mematuhi aturan akan melewati situs, tetapi lindungi juga situs staging dengan kata sandi karena robots.txt hanya berupa permintaan.

Mengecualikan crawler pelatihan AI

Preset crawler AI menambahkan grup untuk GPTBot, CCBot, Google-Extended, ClaudeBot dan PerplexityBot dengan Disallow: /. Crawler penelusuran seperti Googlebot tetap mengikuti grup *.

Pertanyaan yang sering diajukan

Di mana robots.txt harus diletakkan?

Letakkan di direktori utama host, agar dapat diakses di https://example.com/robots.txt. robots.txt di subfolder akan diabaikan.

Apakah Disallow akan menghapus halaman dari hasil penelusuran?

Tidak selalu. Disallow menghentikan crawling, tetapi URL tetap dapat dicantumkan jika ditautkan dari tempat lain. Gunakan tag meta atau header noindex, dan biarkan halaman dapat di-crawl agar crawler bisa melihatnya.

Apakah semua bot mematuhi robots.txt?

Tidak. Mematuhi robots.txt bersifat sukarela. Mesin pencari utama dan banyak crawler AI menyatakan bahwa mereka mematuhinya, tetapi scraper dan bot berbahaya dapat mengabaikannya.

Apakah Google menggunakan Crawl-delay?

Tidak, Google mengabaikan Crawl-delay. Beberapa crawler lain, termasuk Bing, membacanya. Google menyesuaikan frekuensi crawling secara otomatis berdasarkan respons server Anda.

Haruskah saya memblokir file CSS dan JavaScript?

Tidak. Mesin pencari merender halaman dan memerlukan file tersebut untuk memahami tata letak dan konten. Memblokirnya dapat membuat halaman terlihat rusak bagi crawler.

Privasi

File dibuat di browser Anda. Aturan dan URL Anda tidak dikirim ke mana pun atau disimpan.