इस्तेमाल करने का तरीका
- सभी क्रॉलर्स के लिए डिफ़ॉल्ट नीति चुनें और वे पाथ जोड़ें जिन्हें उन्हें प्राप्त नहीं करना चाहिए, जैसे /cart/ या /search।
- अलग नियमों की ज़रूरत वाले खास क्रॉलर्स के लिए समूह जोड़ें या प्रीसेट इस्तेमाल करें।
- अपने XML साइटमैप का पूरा URL जोड़ें।
- robots.txt डाउनलोड करें और इसे अपनी साइट के रूट में अपलोड करें, ताकि यह https://your-domain/robots.txt पर उपलब्ध हो।
यह कैसे काम करता है
robots.txt होस्ट के रूट में मौजूद एक साधारण टेक्स्ट फ़ाइल है, जो क्रॉलर्स को बताती है कि वे कौन-से URL प्राप्त कर सकते हैं। इसे RFC 9309 के रूप में मानकीकृत किया गया है। फ़ाइल में समूह होते हैं: एक या अधिक User-agent पंक्तियों के बाद Allow और Disallow नियम। क्रॉलर उस समूह का इस्तेमाल करता है जिसका नाम उससे सबसे सटीक रूप से मेल खाता है; ऐसा कोई समूह न मिलने पर वह * समूह पर निर्भर करता है। वह अपने समूह और * समूह के नियमों को मिलाकर इस्तेमाल नहीं करता।
किसी URL के पाथ की शुरुआत से नियमों का मिलान होता है और अक्षरों के बड़े-छोटे रूप का अंतर मायने रखता है। * किसी भी क्रम के अक्षरों से मेल खाता है और $ URL के अंत को दर्शाता है। खाली “Disallow:” का अर्थ है कि कुछ भी ब्लॉक नहीं है। इस टूल में वे पंक्तियाँ जो / या * से शुरू नहीं होतीं, अनदेखी की जाती हैं और उनके बारे में सूचना दी जाती है, क्योंकि क्रॉलर भी उन्हें अनदेखा करेंगे। Sitemap की पंक्तियों में पूर्ण URL होना चाहिए और वे किसी एक समूह पर नहीं, बल्कि पूरी फ़ाइल पर लागू होती हैं।
ज़रूरी सीमाएँ: robots.txt क्रॉलिंग को नियंत्रित करता है, इंडेक्सिंग को नहीं। अगर अन्य पेज किसी ब्लॉक किए गए URL से लिंक करते हैं, तो वह खोज परिणामों में बिना विवरण के फिर भी दिख सकता है। किसी पेज को खोज परिणामों से बाहर रखने के लिए क्रॉलिंग की अनुमति दें और इसके बजाय noindex robots meta tag का इस्तेमाल करें। हर होस्ट और प्रोटोकॉल के लिए अलग फ़ाइल चाहिए, इसलिए blog.example.com के लिए अलग robots.txt आवश्यक है।
उदाहरण
ऐसी शॉप जो कार्ट और आंतरिक खोज को छिपाती है
सब कुछ Allow करें, फिर /cart/, /checkout/ और /search को Disallow करें। Sitemap: https://example.com/sitemap.xml जोड़ें। प्रोडक्ट और कैटेगरी पेज क्रॉल किए जा सकेंगे।
स्टेजिंग साइट
“सब कुछ Disallow करें” चुनें। इसके बाद नियमों का पालन करने वाले क्रॉलर साइट को छोड़ देंगे, लेकिन स्टेजिंग साइट को पासवर्ड से भी सुरक्षित रखें, क्योंकि robots.txt केवल एक अनुरोध है।
AI ट्रेनिंग क्रॉलर्स को बाहर रखना
AI क्रॉलर प्रीसेट, GPTBot, CCBot, Google-Extended, ClaudeBot और PerplexityBot के लिए Disallow: / वाला समूह जोड़ता है। Googlebot जैसे सर्च क्रॉलर * समूह का पालन करते रहेंगे।
अक्सर पूछे जाने वाले सवाल
robots.txt कहाँ रखें?
होस्ट के रूट में, ताकि यह https://example.com/robots.txt पर खुले। सबफ़ोल्डर में मौजूद robots.txt को अनदेखा किया जाता है।
क्या Disallow किसी पेज को खोज परिणामों से हटा देगा?
भरोसेमंद तरीके से नहीं। Disallow क्रॉलिंग रोकता है, लेकिन अगर URL का लिंक कहीं और मौजूद है, तो वह सूची में फिर भी दिख सकता है। noindex meta tag या header इस्तेमाल करें और पेज को क्रॉल करने दें, ताकि क्रॉलर उसे देख सके।
क्या हर बॉट robots.txt का पालन करता है?
नहीं। robots.txt का पालन करना स्वैच्छिक है। प्रमुख सर्च इंजन और कई AI क्रॉलर कहते हैं कि वे इसका सम्मान करते हैं, लेकिन डेटा स्क्रैप करने वाले और दुर्भावनापूर्ण बॉट इसे अनदेखा कर सकते हैं।
क्या Google Crawl-delay का इस्तेमाल करता है?
नहीं, Google Crawl-delay को अनदेखा करता है। Bing समेत कुछ अन्य क्रॉलर इसे पढ़ते हैं। आपका सर्वर कैसे जवाब देता है, इसके आधार पर Google अपनी क्रॉल दर अपने-आप तय करता है।
क्या मुझे CSS और JavaScript फ़ाइलें ब्लॉक करनी चाहिए?
नहीं। सर्च इंजन पेजों को रेंडर करते हैं और उनका लेआउट व कॉन्टेंट समझने के लिए इन फ़ाइलों की ज़रूरत होती है। इन्हें ब्लॉक करने से क्रॉलर्स को पेज ठीक से दिखाई नहीं दे सकते।
गोपनीयता
फ़ाइल आपके ब्राउज़र में बनाई जाती है। आपके नियम और URL कहीं नहीं भेजे जाते और न ही संग्रहीत किए जाते हैं।