robots.txt

7गर्मी

2उत्तर

एएसपी.नेट एमवीसी में गतिशील robots.txt के लिए मार्ग कैसे जोड़ें?

मेरे पास robots.txt है जो स्थैतिक नहीं है लेकिन गतिशील रूप से उत्पन्न होता है। मेरी समस्या रूट/robots.txt से मेरे नियंत्रक कार्रवाई में एक मार्ग बना रही है। यह काम करता है: routes.MapRoute( name: "Rob

6गर्मी

3उत्तर

क्रोम robots.txt का अनुरोध क्यों करता है?

मैंने अपने लॉग में देखा है कि क्रोम ने robots.txt से अनुरोध किया है कि मैं जिस चीज की अपेक्षा करता हूं उसके साथ। [...] 2017-09-17 15:22:35 - (sanic)[INFO]: Goin' Fast @ http://0.0.0.0:8080 2017-09-1

6गर्मी

2उत्तर

Azure डोमेन को Google

द्वारा अनुक्रमित किया जा रहा है मेरे पास एक वेबसाइट है जिसका डोमेन 'example.azurewebsites.net' है। मेरे पास 'www.example.com' के लिए एक कस्टम डोमेन भी कॉन्फ़िगर किया गया है। Google मेरी 'example.azure

9गर्मी

1उत्तर

एमवीसी.NET 4

में Robots.txt फ़ाइल मैंने अपने एएसपी एमवीसी.NET प्रोजेक्ट में कुछ यूआरएल से रोबोट को अनदेखा करने के बारे में एक लेख पढ़ा है। अपने लेख लेखक ने कहा कि हमें इस तरह के कुछ बंद नियंत्रकों में कुछ कार्रवाई

6गर्मी

1उत्तर

Django - जेनेरिक विचारों के माध्यम से Robots.txt लोड हो रहा है

मैंने अपने उत्पादन सर्वर पर rob टेम्पलेट निर्देशिका में robots.txt अपलोड किया है। मैं सामान्य विचारों का उपयोग कर रहा हूं; from django.views.generic import TemplateView (r'^robots\.txt$', TemplateVi

5गर्मी

3उत्तर

साइटमैप यूआरएल, जो robots.txt

से अवरोधित होते हैं हम एक आकस्मिक स्थिति है जहाँ हमारे Wordpress साइट robots.txt के बारे में 7 दिनों के लिए रेंगने की अनुमति नहीं देने के लिए सेट किया था लिया है शामिल हैं। मैं अब साफ खेलने के लिए कोश

8गर्मी

2उत्तर

Django कुशलतापूर्वक

यहाँ robots.txt की सेवा robots.txt url(r'^robots\.txt/$', TemplateView.as_view(template_name='robots.txt', content_type='text/plain')), मुझे नहीं लगता कि यह सबसे अच्छा तरीका है है की

8गर्मी

1उत्तर

कुछ पेज निर्देशिकाओं को अस्वीकार करें लेकिन वह पृष्ठ स्वयं नहीं

मान लें कि मेरे पास एक गतिशील पृष्ठ है जो उपयोगकर्ता इनपुट से URL's बनाता है। उदाहरण के लिए: www.XXXXXXX.com/browse < -------- (पृष्ठ होने के लिए ब्राउज़ करें) हर बार उपयोगकर्ता कुछ प्रश्न पूछता है, त

51गर्मी

4उत्तर

Google को मेरे गीथब रिपोजिटरी को अनुक्रमणित करने के लिए कैसे रोकें

मैं अपनी वेबसाइटों में से किसी एक के टेक्स्ट को संग्रहीत करने के लिए गीथब का उपयोग करता हूं, लेकिन समस्या यह है कि Google भी गितूब में पाठ को अनुक्रमणित करता है। तो वही पाठ मेरी साइट और गिथब दोनों पर

7गर्मी

1उत्तर

Nginx: alternte डोमेन के लिए अलग robots.txt

सारांश मैंने इसे एक आंतरिक और बाह्य डोमेन की ओर इशारा करते के साथ एक एकल वेब अनुप्रयोग है, और मैं कोई robots.txt आंतरिक डोमेन के इस्तेमाल के सभी ब्लॉक करना चाहते हैं , लेकिन बाहरी डोमेन तक पहुंच की अन