पाइथन मल्टीप्रोसेसिंग मॉड्यूल में थ्रेडपूल बनाम पूल के बीच क्या अंतर है

Question

ThreadPool और Poolmultiprocessing मॉड्यूल में अंतर क्या है।

from multiprocessing import Pool 
import os, time 

print("hi outside of main()") 

def hello(x): 
    print("inside hello()") 
    print("Proccess id: ", os.getpid()) 
    time.sleep(3) 
    return x*x 

if __name__ == "__main__": 
    p = Pool(5) 
    pool_output = p.map(hello, range(3)) 

    print(pool_output) 

मैं निम्नलिखित उत्पादन देखें::

hi outside of main() 
hi outside of main() 
hi outside of main() 
hi outside of main() 
hi outside of main() 
hi outside of main() 
inside hello() 
Proccess id: 13268 
inside hello() 
Proccess id: 11104 
inside hello() 
Proccess id: 13064 
[0, 1, 4] 

"ThreadPool" के साथ:

from multiprocessing.pool import ThreadPool 
import os, time 

print("hi outside of main()") 

def hello(x): 
    print("inside hello()") 
    print("Proccess id: ", os.getpid()) 
    time.sleep(3) 
    return x*x 

if __name__ == "__main__": 
    p = ThreadPool(5) 
    pool_output = p.map(hello, range(3)) 

    print(pool_output) 

मैं देख रहा हूँ जब मैं अपने कोड की कोशिश, इस मैं देख रहा हूँ मुख्य अंतर यह है निम्नलिखित आउटपुट:

hi outside of main() 
inside hello() 
inside hello() 
Proccess id: 15204 
Proccess id: 15204 
inside hello() 
Proccess id: 15204 
[0, 1, 4] 

मेरी ques माहौल हैं:

• क्यों "बाहर __main __()" Pool में हर बार चलाया जाता है?

• multiprocessing.pool.ThreadPool नई प्रक्रियाओं को जन्म नहीं देता है? यह सिर्फ नए सूत्र बनाता है?

• यदि ऐसा है तो क्या multiprocessing.pool.ThreadPool का उपयोग कर बस threading मॉड्यूल के लिए विरोध के रूप में क्या अंतर है?

मैं नहीं कहीं भी ThreadPool के लिए किसी भी आधिकारिक दस्तावेज देख पा रहे हैं, किसी को मेरी मदद कर सकते बाहर जहाँ मैं इसे पा सकते हैं?

Answer 1

multiprocessing.pool.ThreadPoolmultiprocessing.Pool जैसा ही व्यवहार करता है जो श्रमिक तर्क चलाने के लिए प्रक्रियाओं के बजाय धागे का उपयोग करता है।

कारण आप

hi outside of main() 

देख multiprocessing.Pool एक से अधिक बार मुद्रित किया जा रहा तथ्य के कारण है कि पूल होगा spawn 5 स्वतंत्र प्रक्रियाओं। प्रत्येक प्रक्रिया जो अपनी ही अजगर दुभाषिया प्रारंभ और मॉड्यूल शीर्ष स्तर print में जिसके परिणामस्वरूप लोड होगा फिर से क्रियान्वित किया जा रहा।

ध्यान दें कि यह तब होता है जब spawn प्रक्रिया निर्माण विधि का उपयोग किया जाता है (केवल विंडोज़ पर उपलब्ध विधि)। आप fork एक (यूनिक्स) का उपयोग करते हैं, तो आप संदेश धागे के लिए के रूप में केवल एक बार मुद्रित देखेंगे।

multiprocessing.pool.ThreadPool दस्तावेज़ीकरण नहीं किया गया है क्योंकि इसका कार्यान्वयन कभी पूरा नहीं हुआ है। यह परीक्षण और प्रलेखन का अभाव है। आप source code में इसके कार्यान्वयन देख सकते हैं।

मेरा मानना ​​है कि अगला प्राकृतिक प्रश्न यह है कि: थ्रेड आधारित पूल का उपयोग कब करें और प्रक्रिया के आधार पर कब उपयोग करें?

अंगूठे का नियम है:

• आईओ बाध्य नौकरियों ->multiprocessing.pool.ThreadPool
• सीपीयू बाध्य नौकरियों ->multiprocessing.Pool
• हाइब्रिड नौकरियों -> काम का बोझ पर निर्भर करता है, मैं आमतौर पर multiprocessing.Pool वजह से पसंद करते हैं लाभ प्रक्रिया अलगाव

पायथन 3 पर आप concurrent.future.Executor पूल कार्यान्वयन पर एक नज़र डालना चाहते हैं ।