نحوه استفاده
- سیاست پیش‌فرض را برای همه خزنده‌ها انتخاب کنید و مسیرهایی را که نباید واکشی کنند اضافه کنید؛ مانند /cart/ یا /search.
- اگر خزنده‌های خاصی به قوانین متفاوتی نیاز دارند، گروه‌هایی برای آن‌ها اضافه کنید یا از یک پیش‌تنظیم استفاده کنید.
- نشانی کامل نقشه سایت XML خود را اضافه کنید.
- فایل robots.txt را دانلود و در ریشه سایت خود بارگذاری کنید تا در نشانی https://your-domain/robots.txt ارائه شود.
نحوه کار
robots.txt فایلی متنی ساده در ریشهٔ میزبان است که به خزنده‌ها می‌گوید کدام URLها را می‌توانند واکشی کنند. این فایل طبق RFC 9309 استاندارد شده است. یک فایل شامل گروه‌هاست: یک یا چند خط User-agent و پس از آن قوانین Allow و Disallow. خزنده از گروهی استفاده می‌کند که نام آن دقیق‌ترین تطابق را دارد و در غیر این صورت به گروه * مراجعه می‌کند؛ گروه خود را با گروه * ترکیب نمی‌کند. در هر گروه، خاص‌ترین (طولانی‌ترین) قانون منطبق برنده است و در صورت تساوی، Allow برنده می‌شود.
مسیرها از ابتدای مسیر URL تطبیق داده می‌شوند و به حروف بزرگ و کوچک حساس‌اند. * هر دنباله‌ای از نویسه‌ها را منطبق می‌کند و $ پایان URL را نشان می‌دهد. «Disallow:» خالی یعنی هیچ‌چیز مسدود نیست. خطوطی در این ابزار که با / یا * شروع نمی‌شوند نادیده گرفته و علامت‌گذاری می‌شوند، زیرا خزنده‌ها نیز آن‌ها را نادیده می‌گیرند. خطوط Sitemap باید URL مطلق باشند و برای کل فایل اعمال می‌شوند، نه فقط یک گروه.
محدودیت‌های مهم: robots.txt خزیدن را کنترل می‌کند، نه ایندکس‌شدن را. URL مسدودشده اگر صفحه‌های دیگر به آن پیوند دهند همچنان می‌تواند در نتایج جستجو ظاهر شود، فقط بدون توضیح. برای دور نگه‌داشتن صفحه از نتایج جستجو، اجازهٔ خزیدن بدهید و به‌جای آن از متاتگ robots با مقدار noindex استفاده کنید. هر میزبان و پروتکل به فایل جداگانه نیاز دارد؛ بنابراین blog.example.com به robots.txt جداگانه نیاز دارد.
نمونه‌ها
فروشگاهی که سبد خرید و جستجوی داخلی را پنهان می‌کند
ابتدا به همه اجازه دهید، سپس /cart/، /checkout/ و /search را مسدود کنید. Sitemap: https://example.com/sitemap.xml را اضافه کنید. صفحه‌های محصول و دسته‌بندی قابل خزیدن می‌مانند.
سایت آزمایشی
گزینهٔ «مسدود کردن همه‌چیز» را انتخاب کنید. خزنده‌های خوش‌رفتار پس از آن سایت را نادیده می‌گیرند؛ اما برای محافظت از سایت آزمایشی، آن را با رمز عبور نیز محافظت کنید، چون robots.txt فقط یک درخواست است.
انصراف از خزنده‌های آموزش هوش مصنوعی
پیش‌تنظیم خزندهٔ هوش مصنوعی گروهی برای GPTBot، CCBot، Google-Extended، ClaudeBot و PerplexityBot با Disallow: / اضافه می‌کند. خزنده‌های جستجو مانند Googlebot همچنان از گروه * پیروی می‌کنند.
پرسش‌های متداول
robots.txt را کجا قرار دهم؟
در ریشهٔ میزبان، تا در https://example.com/robots.txt بارگذاری شود. فایل robots.txt در زیرپوشه نادیده گرفته می‌شود.
آیا Disallow صفحه را از نتایج جستجو حذف می‌کند؟
به‌طور قابلاتکایی خیر. Disallow خزیدن را متوقف می‌کند، اما اگر از جای دیگری به آن لینک داده شود، ممکن است URL همچنان در نتایج جستجو فهرست شود. از متاتگ یا هدر noindex استفاده کنید و صفحه را قابل خزیدن نگه دارید تا خزنده بتواند آن را ببیند.
آیا همه ربات‌ها از robots.txt پیروی می‌کنند؟
خیر. پیروی از robots.txt داوطلبانه است. موتورهای جستجوی اصلی و بسیاری از خزنده‌های هوش مصنوعی اعلام می‌کنند که به آن احترام می‌گذارند، اما خزنده‌های استخراج محتوا و ربات‌های مخرب می‌توانند آن را نادیده بگیرند.
آیا گوگل از Crawl-delay استفاده می‌کند؟
خیر، گوگل Crawl-delay را نادیده می‌گیرد. برخی خزنده‌های دیگر، از جمله بینگ، آن را می‌خوانند. گوگل نرخ خزیدن را به‌طور خودکار بر اساس نحوه پاسخ‌گویی سرور شما تنظیم می‌کند.
آیا باید فایل‌های CSS و JavaScript را مسدود کنم؟
خیر. موتورهای جستجو صفحات را رندر می‌کنند و برای درک چیدمان و محتوا به آن فایل‌ها نیاز دارند. مسدود کردن آن‌ها می‌تواند باعث شود صفحات برای خزنده‌ها خراب به نظر برسند.
حریم خصوصی
فایل در مرورگر شما تولید می‌شود. قوانین و URLهای شما به هیچ‌جا ارسال یا ذخیره نمی‌شوند.