किसी आइटम को रिक्त फ़ील्ड मिलने पर अनुरोध n बार फिर से प्रयास कैसे करें?

Question

मैं वेबपृष्ठों की एक श्रृंखला को स्क्रैप करने की कोशिश कर रहा हूं लेकिन मुझे छेद मिल गया है, कभी-कभी ऐसा लगता है कि वेबसाइट HTML प्रतिक्रिया को सही तरीके से भेजने में विफल रही है। इसके परिणामस्वरूप सीएसवी आउटपुट फ़ाइल में खाली रेखाएं होती हैं। जब अनुरोध पर xpath चयनकर्ता खाली होता है तो अनुरोध और पार्स को बार बार पुनः प्रयास करने के लिए कोई कैसे करेगा? ध्यान दें कि मेरे पास कोई HTTP त्रुटियां नहीं हैं।

Answer 1

आप कोई कस्टम पुन: प्रयास करें Middleware के साथ ऐसा कर सकता है देखें, तो आप सिर्फ वर्तमान Retry Middleware की process_response विधि ओवरराइड करने के लिए की जरूरत है:

from scrapy.downloadermiddlewares.retry import RetryMiddleware 
from scrapy.utils.response import response_status_message 


class CustomRetryMiddleware(RetryMiddleware): 

    def process_response(self, request, response, spider): 
     if request.meta.get('dont_retry', False): 
      return response 
     if response.status in self.retry_http_codes: 
      reason = response_status_message(response.status) 
      return self._retry(request, reason, spider) or response 

     # this is your check 
     if response.status == 200 and response.xpath(spider.retry_xpath): 
      return self._retry(request, 'response got xpath "{}"'.format(spider.retry_xpath), spider) or response 
     return response 

फिर settings.py में डिफ़ॉल्ट RetryMiddleware की यह बजाय सक्षम :

DOWNLOADER_MIDDLEWARES = { 
    'scrapy.downloadermiddlewares.retry.RetryMiddleware': None, 
    'myproject.middlewarefilepath.CustomRetryMiddleware': 550, 
} 

अब आपके पास एक मिडलवेयर है जहां आप सह कर सकते हैं xpath Nfigure विशेषता retry_xpath के साथ अपने मकड़ी के अंदर फिर से प्रयास करना:

class MySpider(Spider): 
    name = "myspidername" 

    retry_xpath = '//h2[@class="tadasdop-cat"]' 
    ... 

यह आवश्यक रूप से पुन: प्रयास नहीं होगा जब अपने आइटम के फ़ील्ड रिक्त है, लेकिन आप इसे बनाने के लिए इस retry_xpath विशेषता में उस क्षेत्र के एक ही पथ निर्दिष्ट कर सकते हैं काम।

Answer 2

आप settings.py में सेटिंग को जितनी बार चाहें उतनी बार रेट कर सकते हैं। यह 2 गुना डिफ़ॉल्ट है।

more on RetryMiddleware