अगर मैं केवल क्रॉलर्स को index.php तक पहुंचने की अनुमति देना चाहता हूं, तो यह काम करेगा?क्रॉलर को robots.txt का उपयोग करके केवल index.php तक पहुंचने की अनुमति कैसे दें?
User-agent: *
Disallow:/
Allow: /index.php
आप चेकआउट के लिए Google Robots tool का उपयोग कर सकते हैं। मैं रोबोट फ़ाइल में कभी भी कोई गुप्त निर्देशिका नहीं रखूंगा क्योंकि मुझे लगता है कि नीचे की तरह एक रेखा कुछ मकड़ियों के लिए शहद के रूप में होगी।
Disallow: /secret
के आदेश की अदला-बदली का प्रयास करें अनुमति न दें/अनुमति दें:
User-agent: *
Allow: /index.php
Disallow:/
विकिपीडिया से इस जानकारी देखें:
"फिर भी, आदेश, सभी रोबोट के लिए संगत होना अगर तुम में अन्य फ़ाइलों को अन्यथा अस्वीकृत निर्देशिका के अंदर अनुमति देना चाहते हैं, आपको पहले निर्देश (ओं) को अनुमति दें, इसके बाद अनुमति न दें, उदाहरण के लिए: "
http://en.wikipedia.org/wiki/Robots.txt
फिर भी मैं यह भी लगातार
हाँ, यह काम करेंगे काम करने की उम्मीद नहीं होता। Google Webmaster Tool से परीक्षण परिणाम यहां दिया गया है।
Url
http://www.example.org/index.php
Googlebot
Allowed by line 3: Allow: /index.php
Googlebot-Mobile
Allowed by line 3: Allow: /index.php
हालांकि, याद रखें कि इस विन्यास के साथ अपनी साइट होमपेज पर जब तक पेज पूर्ण योग्य पथ के साथ पहुँचा जा सकता है क्रॉल नहीं किया जाएगा। दूसरे शब्दों में, http://www.example.org/ प्रतिबंधित है जबकि http://www.example.org/index.php की अनुमति है।
यदि आप अपने होमपेज को एक्सेस करना चाहते हैं, तो यहां आपकी फ़ाइल का एक बेहतर संस्करण है।
User-agent: *
Disallow:/
Allow: /index.php
Allow: /$
क्या आप समझा सकते हैं कि क्यों/$ काम करता है, या यह क्या करता है? –
'/ $' के लिए स्पष्टीकरण पाया जा सकता है [यहां] (http://stackoverflow.com/a/29475539/1973409) –
User-agent: *
Allow: /index.php
Disallow:/
User-agent: *
Allow: /$
Allow: /index.php
Allow: /sitemap.xml
Allow: /robots.txt
Disallow:/
Sitemap: http://www.your-site-name.com/sitemap.xml
क्या आप अपना उत्तर थोड़ा सा समझा सकते हैं? – Qix
मैं तुम क्यों ऐसा करना चाहते हैं ... आप सूचकांक करने के लिए क्रॉलर्स ज्यादा अपनी साइट के और नहीं चाहते हैं के रूप में उत्सुक हूँ? –