Google's robots.txt documentation में बैकस-नौर फॉर्म (बीएनएफ) पार्सिंग परिभाषाओं के अनुसार, Allow और Disallow निर्देशों का आदेश कोई फर्क नहीं पड़ता। तो आदेश बदलना वास्तव में आपकी मदद नहीं करेगा।
इसके बजाय आपको अपने पथ को बंद करने के लिए $ ऑपरेटर का उपयोग करना चाहिए।
इस robots.txt का परीक्षण करें। मैं इसे आप के लिए काम करना चाहिए कुछ कर रहा हूँ (मैं भी GWT में सत्यापित किए गए):
user-agent: *
Allow: /$
Disallow:/
यह http://www.example.com और http://www.example.com/ क्रॉल करने की लेकिन सब कुछ किसी और अवरुद्ध अनुमति देगा।
ध्यान दें: कि Allow निर्देश को संतुष्ट करता है अपने विशेष उपयोग के मामले, लेकिन अगर आप index.html या default.php है, अगर ये URL क्रॉल नहीं किया जाएगा।
साइड नोट: मैं केवल Googlebot और bingbot व्यवहार से वास्तव में परिचित हूं। यदि कोई अन्य इंजन है जिसे आप लक्षित कर रहे हैं, तो उनके पास निर्देश दिए गए हैं कि निर्देशों के बारे में विशिष्ट नियम हो सकते हैं या नहीं। इसलिए यदि आप "अतिरिक्त" सुनिश्चित करना चाहते हैं, तो आप हमेशा Allow और Disallow निर्देशक ब्लॉक की स्थिति स्वैप कर सकते हैं, मैंने बस कुछ टिप्पणियों को डिबंक करने के लिए उन्हें सेट किया है।
'अनुमति दें' रेखा को हटाने या इसे 'अस्वीकार करने' के बाद डालने का प्रयास करें। क्रॉलर को पहले मैच में रुकना चाहिए। –
ब्रायन सही है, पहले नियमों से मेल खाता है, लेकिन इस बात से सावधान रहें कि इस तरह से सबकुछ अस्वीकार कर रहा है, Google "त्वरित दृश्य" किसी भी छवि या स्क्रिप्ट को लोड करने में सक्षम नहीं होगा, इसलिए प्रदर्शन बदल सकता है। इसलिए शायद आपको "त्वरित दृश्य" पर अपना मुखपृष्ठ प्रदर्शित करने के लिए कम से कम एक एकल सार्वजनिक फ़ोल्डर बनाना होगा। –