स्केपर में प्रत्येक अनुरोध के बीच देरी कैसे करें?

Question

मैं एक साथ क्रॉल नहीं करना चाहता हूं और अवरुद्ध होना चाहता हूं। मैं प्रति सेकंड एक अनुरोध भेजना चाहता हूं।

Answer 1

कि के लिए एक setting है:

DOWNLOAD_DELAY

डिफ़ॉल्ट: 0

समय (सेकेंड में) कि डाउनलोडर इंतजार करना चाहिए इससे पहले कि ही से लगातार पृष्ठों को डाउनलोड करने की राशि वेबसाइट। सर्वरों को बहुत कठिन मारने से बचने के लिए क्रॉलिंग गति को थ्रॉटल करने के लिए इसे का उपयोग किया जा सकता है।

DOWNLOAD_DELAY = 0.25 # 250 ms of delay 

डॉक्स पढ़ें: https://doc.scrapy.org/en/latest/index.html

Answer 2

तुम भी 'download_delay' मकड़ी पर विशेषता यदि आप एक वैश्विक डाउनलोड देरी नहीं करना चाहते हैं निर्धारित कर सकते हैं। देखें http://doc.scrapy.org/en/latest/faq.html#what-does-the-response-status-code-999-means

Answer 3

class S(Spider): 
    rate = 1 

    def __init__(self): 
     self.download_delay = 1/float(self.rate) 

दर सेट पृष्ठों की एक अधिकतम राशि एक सेकंड में डाउनलोड किया जा सकता है।

Answer 4

विलंब हम 2 में सेट कर सकते हैं कहते हैं: -

हम देरी क्रॉलर चलाते समय निर्दिष्ट कर सकते हैं। ईजी। scrapy क्रॉल नमूना --set DOWNLOAD_DELAY = 3

(जो दो अनुरोधों के बीच 3 सेकंड देरी का मतलब है) या फिर हम globaly settings.py में DOWNLOAD_DELAY = 3

डिफ़ॉल्ट scrapy द्वारा निर्दिष्ट कर सकते हैं लेता के बीच 0.25 सेकंड देरी 2 अनुरोध

Answer 5

यदि आप एक सेकंड की डाउनलोड देरी रखना चाहते हैं, तो DOWNLOAD_DELAY=1 सेटिंग करना इसका तरीका है।

लेकिन स्कैरेपी में AutoThrottle नामक डाउनलोड विलंब स्वचालित रूप से सेट करने की सुविधा भी है। यह स्वचालित रूप से दोनों स्क्रैप सर्वर और जिस वेबसाइट पर आप क्रॉल कर रहे हैं, के भार के आधार पर देरी सेट करता है। यह मनमाने ढंग से देरी सेट करने से बेहतर काम करता है।

पढ़ें इस बारे में आगे http://doc.scrapy.org/en/1.0/topics/autothrottle.html#autothrottle-extension
पर मैं 100 से अधिक डोमेन द्वारा क्रॉल किए गए और AutoThrottle साथ अवरुद्ध नहीं किया गया

Answer 6

DOWNLOAD_DELAY बगल में चालू है, तो आप भी scrapy की AUTOTHROTTLE सुविधा का उपयोग कर सकते हैं, https://doc.scrapy.org/en/latest/topics/autothrottle.html

यह सेटिंग्स फ़ाइल के आधार पर अनुरोधों के बीच देरी राशि बदलता है। यदि आप प्रारंभ और अधिकतम देरी दोनों के लिए 1 सेट करते हैं, तो यह प्रत्येक अनुरोध में 1 सेकंड का इंतजार करेगा।

इसका मूल उद्देश्य देरी का समय बदलना है ताकि आपके बॉट का पता लगाना कठिन हो।

AUTOTHROTTLE_ENABLED = True 
AUTOTHROTTLE_START_DELAY = 1 
AUTOTHROTTLE_MAX_DELAY = 3