Robots.txt: क्या यह वाइल्डकार्ड नियम मान्य है?

Question

सरल सवाल।

Disallow */*details-print/ 

असल में, /foo/bar/dynamic-details-print --- foo और इस उदाहरण में बार के रूप में ब्लॉकिंग नियम भी पूरी तरह से गतिशील हो सकता है: मैं जोड़ना चाहते हैं।

भी ध्यान रखें कि ग्लोबिंग और नियमित अभिव्यक्ति या तो उपयोगकर्ता-एजेंट या लाइनों की अनुमति रद्द में समर्थित नहीं हैं:

मुझे लगा कि यह आसान होगा, लेकिन फिर www.robotstxt.org पर इस संदेश है। उपयोगकर्ता-एजेंट फ़ील्ड में '*' एक विशेष मान है जिसका अर्थ है "कोई रोबोट"। विशेष रूप से, आपके पास "उपयोगकर्ता-एजेंट: बॉट" जैसी लाइनें नहीं हो सकती हैं, "अस्वीकार करें:/tmp/*" या "अस्वीकार करें: * .gif"।

तो हम ऐसा नहीं कर सकते हैं? क्या खोज इंजन इसका पालन करते हैं? - या मैं robotstxt.org पर पाठ गलत समझ रहा हूँ

Disallow: /ajax/ 
Disallow: /*/log 
Disallow: /*/rss 
Disallow: /*_POST 

तो, कौन सही है: लेकिन फिर भी, वहाँ Quora.com's robots.txt फ़ाइल है?

धन्यवाद!

Answer 1

उत्तर है, "यह निर्भर करता है"। Robotstxt.org पर परिभाषित robots.txt "मानक" न्यूनतम है कि बॉट्स का समर्थन करने की अपेक्षा की जाती है। Googlebot, MSNbot, और याहू स्लर्प कुछ सामान्य एक्सटेंशन का समर्थन करते हैं, और वास्तव में कोई बताने नहीं है कि अन्य बॉट्स का समर्थन क्या है। कुछ कहते हैं कि वे क्या समर्थन करते हैं और अन्य नहीं करते हैं।

सामान्य में, आप प्रमुख सर्च इंजन बॉट्स को आपके द्वारा लिखे गए वाइल्डकार्ड का समर्थन करने की उम्मीद कर सकते हैं, और आपके पास ऐसा कोई ऐसा लगता है जैसे यह काम करेगा। सर्वश्रेष्ठ शर्त इसे these robots.txt मान्यताओं में से एक या अधिक चलाने के लिए या Google की Webmaster tools का उपयोग करने के लिए इसे चलाने के लिए होगी।