tigtools

منشئ robots.txt

حدّد ما يُسمح لبرامج الزحف بزيارته، وأضف قواعد لروبوتات محددة، ثم نزّل ملف robots.txt صالحًا لوضعه في جذر موقعك.

تعمل في متصفحك لا يلزم التسجيل

إعدادات مسبقة
جميع برامج الزحف (User-agent: *)
السياسة الافتراضية

يجب أن يبدأ كل مسار بـ / أو *. استخدم $ لمطابقة نهاية URL، مثل /*.pdf$.

يتجاهل Google توجيه Crawl-delay؛ بينما تلتزم به بعض برامج الزحف الأخرى.

قواعد لبرامج زحف محددة

تضيف مجموعة تحظر GPTBot وCCBot وGoogle-Extended وClaudeBot وPerplexityBot. الالتزام بملف robots.txt طوعي.

ملف robots.txt عام: يمكن لأي شخص قراءته، وقد يكشف المسارات التي تدرجها فيه. يطلب فقط من برامج الزحف الملتزمة عدم جلب الصفحات؛ ولا يحمي أي شيء. استخدم المصادقة للمحتوى الخاص، وnoindex للصفحات التي ينبغي ألا تظهر في نتائج البحث.

كيفية الاستخدام

  1. اختر السياسة الافتراضية لجميع برامج الزحف، وأضف أي مسارات تريد منعها من الزيارة، مثل /cart/ أو /search.
  2. أضف مجموعات لبرامج زحف محددة إذا كانت تحتاج إلى قواعد مختلفة، أو استخدم إعدادًا مسبقًا.
  3. أضف عنوان URL الكامل لخريطة موقع XML.
  4. نزّل ملف robots.txt وارفعه إلى جذر موقعك ليكون متاحًا على https://your-domain/robots.txt.

كيف تعمل الأداة

ملف robots.txt هو ملف نصي عادي يوضع في جذر المضيف، ويخبر برامج الزحف بعناوين URL التي يُسمح لها بزيارتها. وقد تم توحيد مواصفاته في RFC 9309. يتضمن الملف مجموعات: سطرًا واحدًا أو أكثر من User-agent، تليها قواعد Allow وDisallow. تستخدم برامج الزحف المجموعة الأكثر تطابقًا مع اسمها، وتلجأ إلى المجموعة * عند عدم وجود تطابق؛ ولا تدمج مجموعتها الخاصة مع المجموعة *. داخل المجموعة، تسود القاعدة الأكثر تحديدًا (الأطول) من بين القواعد المطابقة، وتكون الأولوية لـ Allow عند التعادل.

تُطابق المسارات ابتداءً من بداية مسار URL، مع مراعاة حالة الأحرف. تطابق * أي سلسلة من الأحرف، وتشير $ إلى نهاية URL. تعني كتابة “Disallow:” دون قيمة أن أي شيء غير محظور. يتجاهل هذا البرنامج الأسطر التي لا تبدأ بـ / أو * ويشير إليها، لأن برامج الزحف ستتجاهلها أيضًا. يجب أن تكون عناوين URL في أسطر Sitemap مطلقة، وهي تنطبق على الملف بأكمله لا على مجموعة واحدة.

حدود مهمة: يتحكم robots.txt في الزحف، لا في الفهرسة. قد يظل URL المحظور ظاهرًا في نتائج البحث إذا ربطت به صفحات أخرى، ولكن من دون وصف. لإبعاد صفحة عن نتائج البحث، اسمح بالزحف إليها واستخدم وسم robots meta يتضمن noindex. يحتاج كل مضيف وبروتوكول إلى ملفه الخاص، لذا يتطلب blog.example.com ملف robots.txt منفصلًا.

أمثلة

متجر يحجب سلة التسوق والبحث الداخلي

اسمح بالزحف إلى كل شيء، ثم امنعه عن /cart/ و/checkout/ و/search. أضف Sitemap: https://example.com/sitemap.xml. تظل صفحات المنتجات والفئات متاحة للزحف.

موقع الاختبار

اختر “منع الزحف إلى كل شيء”. عندها تتجنب برامج الزحف الملتزمة زيارة الموقع، لكن احمِ بيئة الاختبار بكلمة مرور أيضًا، لأن robots.txt ليس سوى طلب.

استبعاد برامج الزحف المستخدمة لتدريب الذكاء الاصطناعي

يضيف الإعداد المسبق لبرامج زحف الذكاء الاصطناعي مجموعةً لكل من GPTBot وCCBot وGoogle-Extended وClaudeBot وPerplexityBot، وتتضمن Disallow: /. وتواصل برامج زحف البحث، مثل Googlebot، اتباع المجموعة *.

الأسئلة الشائعة

أين أضع ملف robots.txt؟

في جذر المضيف، ليكون متاحًا على https://example.com/robots.txt. يتم تجاهل ملف robots.txt الموجود في مجلد فرعي.

هل يؤدي Disallow إلى إزالة صفحة من نتائج البحث؟

ليس بشكل موثوق. يمنع Disallow الزحف، لكن قد يظل URL ظاهرًا إذا وُجدت روابط إليه في أماكن أخرى. استخدم وسم meta أو ترويسة noindex، وأبقِ الصفحة متاحة للزحف كي تتمكن برامج الزحف من رؤيته.

هل تلتزم جميع الروبوتات بملف robots.txt؟

لا. الالتزام بملف robots.txt طوعي. تذكر محركات البحث الكبرى والعديد من برامج زحف الذكاء الاصطناعي أنها تحترمه، لكن يمكن لبرامج استخراج البيانات والروبوتات الضارة تجاهله.

هل يستخدم Google توجيه Crawl-delay؟

لا، يتجاهل Google توجيه Crawl-delay. تقرؤه بعض برامج الزحف الأخرى، ومنها برنامج Bing. ويضبط Google معدل الزحف تلقائيًا وفقًا لاستجابة خادمك.

هل ينبغي أن أحجب ملفات CSS وJavaScript؟

لا. تعرض محركات البحث الصفحات وتحتاج إلى هذه الملفات لفهم التخطيط والمحتوى. قد يؤدي حجبها إلى ظهور الصفحات لبرامج الزحف بشكل معطوب.

الخصوصية

يُنشأ الملف في متصفحك. ولا تُرسل قواعدك وعناوين URL إلى أي جهة أو تُخزّن.