Robots.txt कुछ फ़ोल्डर नामों को अस्वीकार करें

Question

मैं रोबोट को किसी भी फ़ोल्डर को क्रॉल करने से रोकना चाहता हूं, यूआरएल में किसी भी स्थिति पर नाम: this-folder।

उदाहरण अस्वीकृत करने के लिए:

http://mysite.com/this-folder/ 
http://mysite.com/houses/this-folder/ 
http://mysite.com/some-other/this-folder/ 
http://mysite.com/no-robots/this-folder/ 

यह मेरा प्रयास है:

Disallow: /.*this-folder/ 

क्या यह काम करता है?

Answer 1

आधिकारिक तौर पर ग्लोबिंग और नियमित अभिव्यक्ति समर्थित नहीं हैं:

http://www.robotstxt.org/robotstxt.html

लेकिन जाहिरा तौर पर कुछ खोज इंजन इस समर्थन करते हैं।