tigtools

Penjana Robots.txt

Pilih perkara yang boleh diambil oleh crawler, tambah peraturan untuk bot tertentu, dan muat turun robots.txt yang sah untuk akar laman anda.

Berjalan dalam pelayar anda Tanpa pendaftaran

Praset
Semua perangkak (User-agent: *)
Dasar lalai

Setiap laluan mesti bermula dengan / atau *. Gunakan $ untuk memadankan hujung URL, contohnya /*.pdf$.

Google mengabaikan Crawl-delay; sesetengah perangkak lain mematuhinya.

Peraturan untuk perangkak tertentu

Menambah kumpulan yang melarang GPTBot, CCBot, Google-Extended, ClaudeBot dan PerplexityBot. Pematuhan terhadap robots.txt adalah secara sukarela.

robots.txt adalah awam: sesiapa sahaja boleh membacanya, dan ia boleh mendedahkan laluan yang anda senaraikan. Ia hanya meminta perangkak yang berkelakuan baik agar tidak mengambil halaman; ia tidak melindungi apa-apa. Gunakan pengesahan untuk kandungan peribadi, dan noindex untuk halaman yang sepatutnya tidak muncul dalam hasil carian.

Cara menggunakannya

  1. Pilih dasar lalai untuk semua crawler dan tambahkan laluan yang tidak patut diambil, seperti /cart/ atau /search.
  2. Tambahkan kumpulan untuk crawler tertentu jika mereka memerlukan peraturan yang berbeza, atau gunakan pratetap.
  3. Tambahkan URL penuh peta laman XML anda.
  4. Muat turun robots.txt dan muat naiknya ke akar laman anda, supaya ia boleh diakses di https://your-domain/robots.txt.

Cara ia berfungsi

robots.txt ialah fail teks biasa di akar hos yang memberitahu perangkak URL yang boleh mereka ambil. Ia diseragamkan sebagai RFC 9309. Fail mengandungi kumpulan: satu atau lebih baris User-agent diikuti peraturan Allow dan Disallow. Perangkak menggunakan kumpulan yang paling khusus sepadan dengan namanya, dan sebaliknya menggunakan kumpulan *; ia tidak menggabungkan kumpulan sendiri dengan kumpulan *. Dalam satu kumpulan, peraturan yang sepadan paling khusus (terpanjang) menang, dan Allow menang jika seri.

Laluan dipadankan dari permulaan laluan URL dan peka huruf besar/kecil. * memadankan sebarang urutan aksara dan $ menandakan hujung URL. “Disallow:” kosong bermaksud tiada apa-apa disekat. Baris dalam alat ini yang tidak bermula dengan / atau * akan diabaikan dan ditanda, kerana perangkak juga akan mengabaikannya. Baris Sitemap mestilah URL mutlak dan digunakan pada keseluruhan fail, bukan pada satu kumpulan.

Had penting: robots.txt mengawal perayapan, bukan pengindeksan. URL yang disekat masih boleh muncul dalam hasil carian jika halaman lain memaut kepadanya, cuma tanpa keterangan. Untuk mengelakkan halaman daripada muncul dalam hasil carian, benarkan perayapan dan sebaliknya gunakan tag meta robots noindex. Setiap hos dan protokol memerlukan fail sendiri, jadi blog.example.com memerlukan robots.txt yang berasingan.

Contoh

Kedai yang menyembunyikan troli dan carian dalaman

Benarkan semua, kemudian sekat /cart/, /checkout/ dan /search. Tambah Sitemap: https://example.com/sitemap.xml. Halaman produk dan kategori kekal boleh dirayapi.

Tapak staging

Pilih “Sekat semua”. Perangkak yang berkelakuan baik kemudiannya melangkau tapak itu, tetapi lindungi tapak staging dengan kata laluan juga, kerana robots.txt hanyalah permintaan.

Memilih keluar daripada perangkak latihan AI

Pratetap perangkak AI menambah kumpulan untuk GPTBot, CCBot, Google-Extended, ClaudeBot dan PerplexityBot dengan Disallow: /. Perangkak carian seperti Googlebot terus mengikuti kumpulan *.

Soalan Lazim

Di manakah saya letakkan robots.txt?

Di akar hos, supaya ia dimuatkan di https://example.com/robots.txt. robots.txt dalam subfolder akan diabaikan.

Adakah Disallow akan mengeluarkan halaman daripada hasil carian?

Tidak dapat dijamin. Disallow menghentikan crawling, tetapi URL tersebut masih boleh disenaraikan jika dipautkan dari tempat lain. Gunakan tag meta noindex atau header, dan pastikan halaman itu boleh di-crawl supaya crawler dapat melihatnya.

Adakah setiap bot mematuhi robots.txt?

Tidak. Mematuhi robots.txt adalah secara sukarela. Enjin carian utama dan banyak crawler AI menyatakan bahawa mereka menghormatinya, tetapi scraper dan bot jahat boleh mengabaikannya.

Adakah Google menggunakan Crawl-delay?

Tidak, Google mengabaikan Crawl-delay. Sesetengah crawler lain, termasuk crawler Bing, membacanya. Google melaraskan kadar crawl secara automatik berdasarkan cara pelayan anda bertindak balas.

Perlukah saya menyekat fail CSS dan JavaScript?

Tidak. Enjin carian merender halaman dan memerlukan fail tersebut untuk memahami susun atur dan kandungan. Menyekat fail tersebut boleh menyebabkan halaman kelihatan rosak kepada crawler.

Privasi

Fail dijana dalam pelayar anda. Peraturan dan URL anda tidak dihantar ke mana-mana atau disimpan.