robots.txt

Question

के लिए Regexp मैं अपने robots.txt को सेट करने का प्रयास कर रहा हूं, लेकिन मुझे regexps के बारे में निश्चित नहीं है।

मेरे पास तीन अलग-अलग भाषाओं में चार अलग-अलग पृष्ठ उपलब्ध हैं। प्रत्येक पृष्ठ के समय 3 को सूचीबद्ध करने के बजाय, मुझे लगा कि मैं regexp का उपयोग कर सकता हूं।

nav.aspx
page.aspx/changelang (एक क्वेरी स्ट्रिंग जैसे "? ToLang = fr" संलग्न हो सकता है।)
MyPage.aspx? Id और
login.aspx/logoff (= 12346? ... आदि - प्रत्येक बार अलग)

! सभी 3 में चार अलग-अलग भाषाओं, जैसे:

www.example.com/es/nav.aspx
www.example.com/it/nav.aspx
www.example.com/fr/nav। एएसपीएक्स

अब, मेरा प्रश्न है: क्या निम्नलिखित regexp सही है?

User-Agent: * 
Disallow: /*nav\.aspx$ 
Disallow: /*page.aspx/changelang 
Disallow: /*mypage\.aspx?id 
Disallow: /*login\.aspx\/logoff 

धन्यवाद

Answer 1

रेगुलर एक्सप्रेशन robots.txt में अनुमति नहीं है, लेकिन Googlebot (और कुछ अन्य रोबोट) कुछ सरल पैटर्न मिलान समझता कर सकते हैं:

आपके robots.txt इस तरह दिखना चाहिए:

User-agent: * 
Disallow: /*nav.aspx$ 
Disallow: /*page.aspx/changelang 
Disallow: /*mypage.aspx?id 
Disallow: /*login.aspx/logoff 

User-agent निर्देश लोअर केस a साथ मान्य है। आपको . या `/ 'से बचने की आवश्यकता नहीं है।

आप यहां इसके बारे में अधिक पढ़ सकते हैं: Block or remove pages using a robots.txt file