स्केपर स्पाइडर मेमोरी लीक

Question

मेरे मकड़ी में गंभीर मेमोरी लीक है .. 15 मिनट के बाद इसकी मेमोरी 5 जीबी और स्केपर बताती है (prefs() का उपयोग करके) कि 900k ऑब्जेक्ट्स अनुरोध करता है और यह सब कुछ है। इस उच्च संख्या में जीवित अनुरोध वस्तुओं का कारण क्या हो सकता है? अनुरोध केवल ऊपर जाता है और नीचे नहीं जाता है। अन्य सभी वस्तुओं शून्य के करीब हैं।

मेरे मकड़ी इस तरह दिखता है: वरीयता() के उत्पादन में

class ExternalLinkSpider(CrawlSpider): 
    name = 'external_link_spider' 
    allowed_domains = [''] 
    start_urls = [''] 

    rules = (Rule(LxmlLinkExtractor(allow=()), callback='parse_obj', follow=True),) 

    def parse_obj(self, response): 
    if not isinstance(response, HtmlResponse): 
     return 
    for link in LxmlLinkExtractor(allow=(), deny=self.allowed_domains).extract_links(response): 
     if not link.nofollow: 
      yield LinkCrawlItem(domain=link.url) 

यहाँ

HtmlResponse      2 oldest: 0s ago 
ExternalLinkSpider     1 oldest: 3285s ago 
LinkCrawlItem      2 oldest: 0s ago 
Request      1663405 oldest: 3284s ago 

100k स्क्रैप के लिए मेमोरी पृष्ठों (उदाहरण के लिए victorinox.com पर कुछ साइटों पर 40gb निशान हिट कर सकते हैं यह 100k स्क्रैप किए गए पृष्ठों के निशान पर 35 जीबी मेमोरी तक पहुंचें)। दूसरे पर यह बहुत कम है।

यूपीडी।

Answer 1

कुछ संभावित मुद्दों मैं अभी देख रहे हैं।

हालांकि शुरू करने से पहले, मैं यह उल्लेख करना चाहता था कि prefs() कतारबद्ध अनुरोधों की संख्या नहीं दिखाता है, यह जीवित अनुरोध() ऑब्जेक्ट्स की संख्या दिखाता है। अनुरोध ऑब्जेक्ट को संदर्भित करना और इसे जीवित रखना संभव है, भले ही इसे डाउनलोड करने के लिए कतारबद्ध न हो।

मुझे आपके द्वारा प्रदान किए गए कोड में वास्तव में कुछ भी नहीं दिखाई देता है जो इसका कारण बनता है, हालांकि आपको इसे ध्यान में रखना चाहिए।

बल्ले से बाहर, मैं पूछूंगा: क्या आप कुकीज़ का उपयोग कर रहे हैं? यदि नहीं, तो साइटें जो एक जीईटी वैरिएबल के रूप में सत्र आईडी के आसपास गुज़रती हैं, प्रत्येक पृष्ठ विज़िट के लिए एक नया सत्र आईडी उत्पन्न करेगी। आप अनिवार्य रूप से एक ही पृष्ठ को बार-बार कतारबद्ध करना जारी रखेंगे। उदाहरण के लिए, victorinox.com में कुछ नए पेज लोड के लिए आईडी बदलते हुए, URL की स्ट्रिंग में "jsessionid = 18537CBA2F198E3C1A5C9EE17B6C63AD" जैसा कुछ होगा।

दूसरा, आप यह कर सकते हैं कि आप एक मकड़ी जाल मार रहे हैं। यही वह पृष्ठ है जो एक नई अनंत लिंक के साथ, खुद को पुनः लोड करता है। "अगले महीने" और "पिछले महीने" के लिंक वाले कैलेंडर के बारे में सोचें। हालांकि, मैं victorinox.com पर सीधे किसी को नहीं देख रहा हूं।

तीसरा, प्रदत्त कोड से आपका स्पाइडर किसी विशिष्ट डोमेन पर बाध्य नहीं है। यह प्रत्येक पृष्ठ पर मिलने वाले प्रत्येक लिंक को निकाल देगा, प्रत्येक पर parse_obj चला रहा है। उदाहरण के लिए victorinox.com का मुख्य पृष्ठ http://www.youtube.com/victorinoxswissarmy का एक लिंक है। यह बदले में आपके अनुरोधों को कई YouTube लिंक के साथ भर देगा।

हालांकि, क्या हो रहा है, यह जानने के लिए आपको और समस्या निवारण करने की आवश्यकता होगी।

कुछ रणनीतियों आप उपयोग करना चाहते हो सकता है:

1. एक नया डाउनलोडर मिडिलवेयर (डेटाबेस एक फाइल करने के लिए, या) बनाएँ और अपने अनुरोध के सभी लॉग इन करें। विषम व्यवहार के अनुरोधों की समीक्षा करें।
2. गहराई को सीमित करें ताकि इसे खरगोश छेद को अनंत काल तक जारी रखने से रोका जा सके।
3. यह जांचने के लिए डोमेन को सीमित करें कि यह अभी भी एक समस्या है।

आप पाते हैं आप वैध तरीके से सिर्फ कई अनुरोध करने के लिए पैदा कर रहे हैं, और स्मृति एक मुद्दा है, तो लगातार काम कतार सक्षम और डिस्क के लिए अनुरोध बचाने के लिए, बजाय। मैं इसके खिलाफ एक पहले चरण के रूप में सिफारिश करता हूं, हालांकि, यह अधिक संभावना है कि आपका क्रॉलर काम नहीं कर रहा है जैसा आप चाहते थे।