robots.txt

29गर्मी

10उत्तर

की नैतिकता मेरे पास एक गंभीर सवाल है। क्या वेबसाइट पर robots.txt फ़ाइल की उपस्थिति को अनदेखा करना कभी नैतिक है? ये कुछ विचार हैं जो मुझे दिमाग में मिला है: यदि कोई वेबसाइट बनाता है तो वे कुछ यात्राओं

6गर्मी

3उत्तर

किसी robots.txt पार्स और

लघु प्रश्न इसके खिलाफ यूआरएल मूल्यांकन करने के लिए किसी भी सी # कोड मिला: है किसी को भी robots.txt पार्स करने के लिए किसी भी सी # कोड मिल गया और फिर इसके खिलाफ यूआरएल का मूल्यांकन तो देखें कि क्या वे

7गर्मी

2उत्तर

सब कैसे गतिशील यूआरएल robots.txt

robots.txt में सभी गतिशील यूआरएल अस्वीकृत करने के लिए कैसे अनुमति नहीं देने के Disallow: /?q=admin/ Disallow: /?q=aggregator/ Disallow: /?q=comment/reply/ Disallow: /?q=contact/ Disallow: /?q=logo

19गर्मी

9उत्तर

मेटा टैग बनाम robots.txt

क्या स्पाइडर/क्रॉलर को किसी पृष्ठ को शामिल या बहिष्कृत करने के लिए मेटा टैग * या robots.txt फ़ाइल का उपयोग करना बेहतर है? क्या मेटा टैग और robots.txt दोनों का उपयोग करने में कोई समस्या है? * उदाहरण के

5गर्मी

5उत्तर

robots.txt: कुछ चुनिंदा कुछ के अलावा सभी को अस्वीकार करें, क्यों नहीं?

मैं पूछता हूं, Google, माइक्रोसॉफ्ट और याहू को छोड़कर हर क्रॉलर को अस्वीकार करने के बारे में कुछ समय सोच रहा हूं! मेरी साइट से इसके पीछे तर्क यह है कि मैंने कभी भी किसी भी अन्य वेब क्रॉलर द्वारा उत्पन

5गर्मी

3उत्तर

मैं प्लोन में robots.txt को कैसे संशोधित करूं?

मेरे पास एक प्लोन साइट है जिसे मैं प्रशासित करता हूं और मैं robots.txt की अस्वीकृति में कुछ पेज जोड़ना चाहता हूं। ऐसा प्रतीत होता है कि प्लोन स्वचालित रूप से robots.txt फ़ाइल उत्पन्न करता है। मुझे इसे

18गर्मी

3उत्तर

Robots.txt: केवल प्रमुख एसई

को robots.txt को कॉन्फ़िगर करने का कोई तरीका है ताकि साइट केवल Google, याहू से विज़िट स्वीकार करे! और एमएसएन मकड़ियों?

5गर्मी

1उत्तर

Robots.txt कुछ फ़ोल्डर नामों को अस्वीकार करें

मैं रोबोट को किसी भी फ़ोल्डर को क्रॉल करने से रोकना चाहता हूं, यूआरएल में किसी भी स्थिति पर नाम: this-folder। उदाहरण अस्वीकृत करने के लिए: http://mysite.com/this-folder/ http://mysite.com/houses/this

7गर्मी

3उत्तर

robots.txt पार्सर जावा

मैं जानना चाहता हूं कि जावा में robots.txt को कैसे पार्स करना है। क्या पहले से ही कोई कोड है?

9गर्मी

5उत्तर

क्रॉलर को robots.txt का उपयोग करके केवल index.php तक पहुंचने की अनुमति कैसे दें?

अगर मैं केवल क्रॉलर्स को index.php तक पहुंचने की अनुमति देना चाहता हूं, तो यह काम करेगा? User-agent: * Disallow:/ Allow: /index.php