का सम्मान नहीं करते हैं मेरे सीपीयू उपयोग अचानक मेरी साइट पर घूमने वाले बॉट्स के कारण 400% से अधिक हो जाने के बाद, मैंने एक robots.txt बनाया और फ़ाइल को मेरी जड़ में रखा, उदाहरण के लिए "www.example .com/":बिंगबॉट और BaiduSpider robots.txt
User-agent: *
Disallow:/
अब Google इस फ़ाइल का सम्मान करता है और वहाँ गूगल के अपने लॉग फ़ाइल में कोई और अधिक घटना है। हालांकि बिंगबॉट & BaiduSpider अभी भी मेरे लॉग (और भरपूर) में दिखाई देता है।
जैसा कि मैंने CPU उपयोग में इस भारी वृद्धि था & भी बैंडविड्थ और मेरे होस्टिंग प्रदाता के बारे में मेरा खाता निलंबित किया गया था, मैं सबसे पहले अपने सभी पृष्ठों को हटा दिया (मामले में एक बुरा स्क्रिप्ट नहीं थी), स्वच्छ पृष्ठों अपलोड किया है, सभी बोट्स अवरुद्ध .htaccess & में आईपी पते के माध्यम से उस robots.txt फ़ाइल बनाई गई।
मैंने हर जगह यह पुष्टि करने के लिए खोज की कि मैंने सही कदम उठाए हैं (अभी तक .htaccess में "ReWrite" विकल्प का प्रयास नहीं किया है)।
क्या कोई यह पुष्टि कर सकता है कि मैंने जो किया है वह नौकरी करना चाहिए? (चूंकि मैंने इस उद्यम को शुरू किया है, इसलिए मेरा सीपीयू उपयोग 6 दिनों के भीतर 120% तक चला गया है, लेकिन कम से कम आईपी पतों को अवरुद्ध करना सीपीयू उपयोग को मेरे सामान्य 5-10% तक लाया जाना चाहिए था)।
उदासी, robots.txt, एक "सज्जनों समझौते" है आप एक फ़ायरवॉल की पहुंच है तो आप उन्हें एकमुश्त ब्लॉक सकता है, अन्य लोगों को एक ही समस्या आप http://www.webmasterworld.com/search_engine_spiders/4348357.htm (इस लिंक में प्रतिबंध लगाने के लिए आईपी पते) –
हाय हैराल्ड, लिंक के लिए धन्यवाद। आईपी पते के माध्यम से उन्हें सीधे अवरुद्ध कर दिया। मान लीजिए कि वे मेरे robots.txt और मेटा टैग क्यों नहीं पढ़ रहे हैं (मैंने बदल दिया)। सीपीयू का उपयोग 51% तक हो गया है, इसलिए अब मैं कुछ आईपी पते को छोड़ देता हूं ताकि वे robots.txt नियम और मेटा टैग नियम पढ़ सकें और देखेंगे कि यह कैसा चल रहा है। धन्यवाद, रिचर्ड – Richard