साइट को अनुक्रमित होने से प्रतिबंधित करने के लिए

Question

मुझे पता है कि यह प्रश्न कई बार पूछा जा रहा था लेकिन मैं और अधिक विशिष्ट होना चाहता हूं।

मेरे पास एक विकास डोमेन है और साइट को सबफ़ोल्डर में स्थानांतरित कर दिया गया है। से मान लीजिए:

http://www.example.com/ 

करने के लिए:

http://www.example.com/backup 

तो मैं सबफ़ोल्डर बिल्कुल खोज इंजन द्वारा अनुक्रमित नहीं किया जा करना चाहते हैं। मैंने subfolder में निम्न सामग्री के साथ robots.txt डाल दिया है (क्या मैं इसे सबफ़ोल्डर में रख सकता हूं या इसे हमेशा रूट पर होना चाहिए, क्योंकि मैं रूट पर सामग्री को खोज इंजन पर दिखाना चाहता हूं):

User-agent: * 
Disallow:/

शायद मैं इसे बदलना और निम्नलिखित जड़ में डाल की जरूरत है:

User-agent: * 
Disallow: /backup 

अन्य बात यह है कि मैंने कहीं पढ़ा है कि कुछ रोबोट robots.txt फ़ाइल का पालन नहीं करते हैं तो बस डाल होगा/बैकअप फ़ोल्डर में एक .htaccess फ़ाइल नौकरी करते हैं?

Order deny,allow 
Deny from all 

कोई भी विचार? जहां आप कर सकते हैं

User-agent: * 
Disallow: /backup/ 

साथ ही, अपनी robots.txt फ़ाइल इस मामले में, अपने डोमेन के रूट में रखा जाना चाहिए ताकि, फ़ाइल रखा जाएगा:

Answer 1

यह अनुक्रमित किए जाने से उस निर्देशिका रोका जा सके http://example.com/robots.txt

पर जाकर अपने ब्राउज़र में इसे एक्सेस करें, एक तरफ, आप http://dev.example.com जैसे कुछ विकास साइट के लिए सबडोमेन सेट करने पर विचार करना चाहेंगे। ऐसा करने से आप देव वातावरण को पूरी तरह से उत्पादन वातावरण से अलग कर सकते हैं और यह भी सुनिश्चित करेंगे कि आपके वातावरण अधिक निकटता से मेल खाते हैं।

उदाहरण के लिए, जावास्क्रिप्ट फाइलों, सीएसएस, छवियों या अन्य संसाधनों के लिए कोई भी पूर्ण पथ देव से उत्पादन तक ही काम नहीं कर सकता है, और इससे सड़क के नीचे कुछ समस्याएं हो सकती हैं।

इस फ़ाइल को कॉन्फ़िगर करने के तरीके के बारे में अधिक जानकारी के लिए, robotstxt.org साइट देखें। सौभाग्य!

एक अंतिम और अंतिम टिप्पणी Google Webmaster Tools के रूप में एक वर्ग है, जहां आप कर सकते हैं see what is blocked by the robots.txt file:

जो URL Google क्रॉलिंग से अवरुद्ध कर दिया गया, वेबमास्टर टूल के स्वास्थ्य अनुभाग के ब्लॉक किए गए URL पृष्ठ पर जाएँ देखने के लिए।

मैं दृढ़ता से आप इस उपकरण का उपयोग, के रूप में एक गलत तरीके से कॉन्फ़िगर robots.txt फ़ाइल अपनी वेबसाइट के प्रदर्शन पर एक महत्वपूर्ण प्रभाव हो सकता है सुझाव देते हैं।