मेरे पास रूट में निम्न robots.txt के साथ एक साइट है:Googlebots robots.txt को अनदेखा कर रहा है?
User-agent: *
Disabled:/
User-agent: Googlebot
Disabled:/
User-agent: Googlebot-Image
Disallow:/
और इस साइट के भीतर के पृष्ठ पूरे दिन Googlebots द्वारा स्कैन किए जा रहे हैं। क्या मेरी फाइल या Google के साथ कुछ गड़बड़ है?
यह Disallow: होना चाहिए, Disabled: नहीं होना चाहिए।
गूगल robots.txt प्रविष्टियों की जाँच के लिए एक विश्लेषण उपकरण है, read about it here
तुम भी "धूर्त" रोबोट के आईपी पते की जाँच करने के देखने के लिए अगर वे वास्तव में गूगल के स्वामित्व में हैं चाहते हो सकता है।
शायद Google robots.txt checker एक कोशिश
इसके अलावा मुझे विश्वास है कि बॉट पेज नीचे चला जाता है और इसे करने के लिए लागू होता है कि पहले निर्देश लेता दे। आपके मामले में, Googlebot और Googlebot-Image उनके विशिष्ट निर्देश कभी नहीं देख पाएंगे क्योंकि वे पहले "उपयोगकर्ता-एजेंट: *" का सम्मान करेंगे।
इस उत्तर को अस्वीकार करें। मुझे सूचना मिली जो इस मामले को इंगित नहीं करती है। बॉट को इसके लिए विशिष्ट निर्देश मिलना चाहिए और इसका सम्मान
आराग, मैं मूर्ख हूं। धन्यवाद। –