की धीमी गति से स्पिडरिंग क्या किसी मकड़ी को वेबसाइट के स्पिडरिंग को धीमा करने के लिए मजबूर करने का कोई तरीका है? कुछ भी जो हेडर या robots.txt में रखा जा सकता है?वेबसाइट
मैंने सोचा कि मुझे यह संभव होने के बारे में कुछ पढ़ना याद है लेकिन अब कुछ भी नहीं मिला है।
यदि आप Google का जिक्र कर रहे हैं, तो आप अपने Google वेबमास्टर खाते (Google Webmaster Tools) का उपयोग कर Google स्पाइडर को अपनी साइट पर गति डाल सकते हैं।
वहाँ भी इस, जो आप robots.txt
User-agent: *
Crawl-delay: 10
कहाँ क्रॉल देरी प्रत्येक पृष्ठ क्रॉल के बीच सेकंड की संख्या के रूप में निर्दिष्ट किया जाता है में डाल सकते हैं। बेशक, robots.txt में सबकुछ की तरह, क्रॉलर को इसका सम्मान करना है, इसलिए वाईएमएमवी।
मुझे नहीं लगता कि रोबोट अनुमति या अस्वीकार करने के अलावा कुछ भी करेंगे। अधिकांश खोज इंजन आपको अनुकूलित करने की अनुमति देंगे कि वे आपकी साइट को कैसे अनुक्रमित करते हैं।
आप एक विशिष्ट एजेंट है कि समस्या आ रही है है, तो आप या तो यह विशेष रूप से ब्लॉक, या आप इसे कॉन्फ़िगर कर सकते हैं, तो देख सकते हैं।
(देखें रॉबर्ट हार्वे के जवाब) Yahoo! और Bing Googlebot के लिए गूगल वेबमास्टर उपकरण का उपयोग कर, robots.txt में गैरमानक Crawl-delay निर्देश समर्थन से परे:
http://en.wikipedia.org/wiki/Robots.txt#Nonstandard_extensions
धक्का को गिरवी रखना आता है, हालांकि, आपकी साइट को झुकाव करने वाला एक गलत व्यवहार करने वाला बॉट केवल उच्च स्तर पर अवरुद्ध होना होगा (उदाहरण के लिए लोड बैलेंसर, राउटर, कैशिंग प्रॉक्सी, जो भी आपके आर्किटेक्चर के लिए उपयुक्त है)।
पर्ल का उपयोग कर समाधान के लिए Throttling your web server देखें। रंदल श्वार्टज़ ने कहा कि वह इस समाधान का उपयोग करके स्लेशडॉट हमले से बच गए।
आप इसे धीमा क्यों करना चाहते हैं? –