अजगर बहु ​​स्मृति उपयोग

Question

मैं एक कार्यक्रम निम्नानुसार संक्षेप किया जा सकता है कि लिखा है:

def loadHugeData(): 
    #load it 
    return data 

def processHugeData(data, res_queue): 
    for item in data: 
     #process it 
     res_queue.put(result) 
    res_queue.put("END") 

def writeOutput(outFile, res_queue): 
    with open(outFile, 'w') as f 
     res=res_queue.get() 
     while res!='END': 
      f.write(res) 
      res=res_queue.get() 

res_queue = multiprocessing.Queue() 

if __name__ == '__main__': 
    data=loadHugeData() 
    p = multiprocessing.Process(target=writeOutput, args=(outFile, res_queue)) 
    p.start() 
    processHugeData(data, res_queue) 
    p.join() 

असली (विशेष रूप से'writeOutput() ') कोड एक बहुत अधिक जटिल है। 'writeOutput() 'केवल इन मानों का उपयोग करता है जो इसका तर्क (अर्थात् यह संदर्भ नहीं करता है'

असल में यह स्मृति में एक विशाल डेटासेट लोड करता है और इसे संसाधित करता है। आउटपुट का लेखन उप-प्रक्रिया में दिया जाता है (यह वास्तव में कई फाइलों में लिखता है और इसमें बहुत समय लगता है)। इसलिए प्रत्येक बार जब एक डेटा आइटम संसाधित हो जाता है तो इसे उप-प्रोसेस ट्रॉफ res_queue पर भेजा जाता है जो बदले में परिणामस्वरूप फ़ाइलों को परिणाम में लिखता है।

उप-प्रक्रिया को किसी भी तरह से'loadHugeData() 'द्वारा लोड किए गए डेटा को एक्सेस, पढ़ने या संशोधित करने की आवश्यकता नहीं है। उप-प्रक्रिया को केवल उस प्रक्रिया का उपयोग करने की आवश्यकता होती है जो मुख्य प्रक्रिया इसे 'gres_queue' को भेजती है। और यह मुझे मेरी समस्या और सवाल की ओर ले जाता है।

ऐसा लगता है कि उप-प्रक्रिया विशाल डेटासेट की प्रतिलिपि पर होती है (जब'top' 'के साथ मेमोरी उपयोग की जांच होती है)। क्या ये सच है? और यदि ऐसा है तो मैं आईडी से कैसे बच सकता हूं (डबल मेमोरी का उपयोग करके)?

मैं पायथन 2.6 का उपयोग कर रहा हूं और प्रोग्राम लिनक्स पर चल रहा है।

Answer 1

multiprocessing मॉड्यूल प्रभावी रूप से fork सिस्टम कॉल पर आधारित है जो वर्तमान प्रक्रिया की एक प्रति बनाता है। चूंकि आप fork (या multiprocessing.Process) से पहले विशाल डेटा लोड कर रहे हैं, इसलिए बच्चे की प्रक्रिया डेटा की एक प्रति प्राप्त करती है।

हालांकि, अगर ऑपरेटिंग सिस्टम आप गाय (प्रतिलिपि लिखने) पर चल रहे हैं, तो वास्तव में भौतिक स्मृति में डेटा की एक प्रति होगी जब तक आप माता-पिता या बाल प्रक्रिया में डेटा को संशोधित नहीं करते हैं (माता-पिता और बच्चे दोनों साझा करेंगे समान भौतिक स्मृति पृष्ठ, हालांकि विभिन्न वर्चुअल एड्रेस रिक्त स्थान में); और फिर भी, अतिरिक्त मेमोरी केवल परिवर्तनों के लिए आवंटित की जाएगी (pagesize वृद्धि में)।

आप अपने विशाल डेटा को लोड करने से पहले multiprocessing.Process पर कॉल करके इस स्थिति से बच सकते हैं। तब जब आप माता-पिता में डेटा लोड करते हैं तो अतिरिक्त स्मृति आवंटन बाल प्रक्रिया में दिखाई नहीं देगा।