robots.txt

Question

के साथ सबडोमेन पर अस्वीकार या नोंडेक्स मेरे पास dev.qrcodecity.com और www.qrcodecity.com है। मैं चाहता हूं कि Google देव सबडोमेन के सभी रिकॉर्ड्स को छोड़ दें लेकिन www रखें। मैं दोनों के लिए कोड स्टोर करने के लिए गिट का उपयोग कर रहा हूं, इसलिए आदर्श रूप से मैं उन्हें एक ही robots.txt फ़ाइल रखना चाहता हूं। क्या एक robots.txt फ़ाइल होना संभव है जिसमें सबडोमेन शामिल नहीं है?

Answer 1

क्षमा करें, यह संभवतः संभव नहीं है। सामान्य नियम यह है कि प्रत्येक उप-डोमेन का अलग से इलाज किया जाता है और इस प्रकार दोनों को robots.txt फ़ाइलों की आवश्यकता होगी।

अक्सर सबडोल्डर का उपयोग उपफोल्डर्स का उपयोग करके यूआरएल रीराइटिंग के साथ किया जाता है जो मैपिंग करता है जिसमें आप सबडोमेन में एक एकल robots.txt फ़ाइल साझा करना चाहते हैं। यह कैसे करें यह जानने के लिए यहां एक अच्छी चर्चा है: http://www.webmasterworld.com/apache/4253501.htm।

हालांकि, आपके मामले में आप प्रत्येक सबडोमेन के लिए अलग-अलग व्यवहार चाहते हैं जिसके लिए अलग-अलग फाइलों की आवश्यकता होगी।

Answer 2

आप अपाचे पुनः लेखन के तर्क इस्तेमाल कर सकते हैं विकास डोमेन पर एक अलग robots.txt सेवा करने के लिए:

<IfModule mod_rewrite.c> 
    RewriteEngine on 
    RewriteCond %{HTTP_HOST} ^dev\.qrcodecity\.com$ 
    RewriteRule ^robots\.txt$ robots-dev.txt 
</IfModule> 

और फिर बनाने के लिए एक अलग robots-dev.txt:

User-agent: * 
Disallow:/

Answer 3

ध्यान रखें कि यदि आप करने से रोक सबडोमेन के नीचे पृष्ठों को अनुक्रमणित करना, वे (आमतौर पर) Google अनुक्रमणिका से तुरंत बाहर नहीं जाएंगे। यह केवल उन पृष्ठों को पुनः अनुक्रमणित करने से Google को रोकता है।

यदि देव सबडोमेन अभी तक लॉन्च नहीं किया गया है, तो सुनिश्चित करें कि इसमें अपने स्वयं के robots.txt सब कुछ अस्वीकार कर रहे हैं।

हालांकि, यदि देव सबडोमेन में पहले से ही अनुक्रमित पृष्ठ हैं, तो आपको पहले रोबोट नोइन्डेक्स मेटा टैग का उपयोग करने की आवश्यकता है (जिसके लिए Google को इस अनुरोध को पढ़ने के लिए पृष्ठों को क्रॉल करने की आवश्यकता है), फिर robots.txt फ़ाइल सेट अप करें एक बार Google अनुक्रमणिका से बाहर निकलने के बाद देव उपडोमेन (एक Google वेबमास्टर उपकरण खाता सेट अप करें - यह इसे काम करने में मदद करता है)।

Answer 4

की सेवा पर प्रत्येक उप डोमेन अपने आप में एक अलग डोमेन के रूप इलाज है, यदि आप देखते कई मुफ्त वेबसाइट निर्माताओं आप yourname.websitemake.com के लिए इसी तरह एक डोमेन नाम के साथ अपने सर्व पर अपनी वेबसाइट की मेजबानी करने की अनुमति। और नतीजतन, प्रत्येक वेबसाइट खोज इंजन पर अलग से अनुक्रमित हो जाती है।

तो आप इसे प्राप्त करने के लिए क्या कर सकते हैं, आप उप-डोमेन के फ़ोल्डर में एक नया "robots.txt" जोड़ सकते हैं और क्रॉलर को अपने उप-डोमेन को अनुक्रमणित करने से रोकने के लिए निम्नलिखित का उल्लेख कर सकते हैं।

User-agent: * 
Disallow:/