अजगर बहु ​​पूल, प्रक्रियाओं के लिए प्रतीक्षा करें और कस्टम पुनः आरंभ प्रक्रियाओं

Question

मैं अजगर बहु ​​का इस्तेमाल किया और इस कोड के साथ सभी प्रक्रियाओं का इंतजार करते हैं:

Traceback (most recent call last): 
    File "C:\workspace\sdl\lxchg\walker4.py", line 163, in <module> 
    pool.join() 
    File "C:\Python25\Lib\site-packages\multiprocessing\pool.py", line 338, in joi 
n 
    assert self._state in (CLOSE, TERMINATE) 
AssertionError 

:

... 
      results = [] 
      for i in range(num_extract): 
       url = queue.get(timeout=5) 
       try: 
        print "START PROCESS!" 
        result = pool.apply_async(process, [host,url],callback=callback) 
        results.append(result) 
       except Exception,e: 

        continue 


      for r in results: 
       r.get(timeout=7) 
... 

मैं pool.join का उपयोग लेकिन त्रुटि प्राप्त करने की कोशिश

क्यों काम नहीं करते? और सभी प्रक्रियाओं का इंतजार करने का अच्छा तरीका क्या है।

मेरा दूसरा सवाल यह है कि मैं पूल में कुछ प्रक्रिया को पुनरारंभ कैसे कर सकता हूं? मुझे स्मृति रिसाव के कारण इसकी आवश्यकता है। अब वास्तव में सभी प्रक्रियाओं के बाद मैंने सभी पूलों का पुनर्निर्माण किया है (प्रक्रिया को पुनरारंभ करने के लिए नया ऑब्जेक्ट पूल बनाएं)।

मुझे क्या चाहिए: उदाहरण के लिए मेरे पास पूल में 4 प्रक्रिया है। फिर कार्य पूरा होने के बाद, अपना कार्य प्राप्त करें, मुझे प्रक्रिया को मारने और नई शुरू करने की आवश्यकता है (स्मृति रिसाव को ताज़ा करने के लिए)।

Answer 1

आपको त्रुटि हो रही है क्योंकि आप pool.join()

मैं एक अच्छा तरीका है बंद करने के लिए एक प्रक्रिया apply_async के साथ शुरू की पता नहीं है कॉल करने से पहले pool.close() फोन लेकिन अगर ठीक से पूल को बंद नहीं करता है देखने की जरूरत अपनी याददाश्त रिसाव दूर जाओ।

कारण मुझे लगता है कि Pool कक्षा में गुणों का एक समूह है जो डिमन मोड में चल रहे धागे हैं। इन सभी धागे को join विधि द्वारा साफ़ किया जाता है। आपके पास अब जो कोड है, वह उन्हें साफ़ नहीं करेगा, इसलिए यदि आप एक नया Pool बनाते हैं, तो आपके पास अभी भी उन सभी धागे हैं जो अंतिम से चल रहे हैं।