मशीनीकरण

Question

मैं पेज से एक वेबसाइट पृष्ठ से कुछ जानकारी स्क्रैप करने का प्रयास कर रहा था के साथ "बाहर स्मृति" त्रुटि, मूल रूप से यहाँ मैं क्या किया है:

import mechanize 
MechBrowser = mechanize.Browser() 

Counter = 0 

while Counter < 5000: 
    Response = MechBrowser.open("http://example.com/page" + str(Counter)) 
    Html = Response.read() 
    Response.close() 

    OutputFile = open("Output.txt", "a") 
    OutputFile.write(Html) 
    OutputFile.close() 

    Counter = Counter + 1 

खैर, इसके बाद के संस्करण कोड "बाहर फेंकने से समाप्त हो गया मेमोरी "त्रुटि और कार्य प्रबंधक में यह दिखाता है कि कई घंटे चलने के बाद स्क्रिप्ट लगभग 1 जीबी मेमोरी का उपयोग करती है ... कैसे आती है ?!

क्या कोई मुझे बताएगा कि क्या गलत हुआ?

Answer 1

यह वास्तव में एक स्मृति रिसाव नहीं है, बल्कि एक अनियंत्रित सुविधा है। असल में, mechanize.Browser() सामूहिक रूप से स्मृति में सभी ब्राउज़र इतिहास संग्रहीत कर रहा है।

यदि आप Response.close() के बाद MechBrowser.clear_history() पर कॉल जोड़ते हैं, तो इसे समस्या का समाधान करना चाहिए।