क्या अजवाइन स्थानीय प्रणाली पर पाइथन मल्टीप्रोसेसिंग के रूप में कुशल है?

Question

मुझे अपने आवेदन के लिए पाइथन मल्टीप्रोसेसिंग या सेलेरी या पीपी का उपयोग करने का निर्णय लेने में कुछ परेशानी हो रही है।

मेरा ऐप बहुत सीपीयू भारी है लेकिन वर्तमान में केवल एक सीपीयू का उपयोग करता है, इसलिए मुझे इसे सभी उपलब्ध सीपीयू में फैलाना होगा (जिसने मुझे पाइथन की मल्टीप्रोसेसिंग लाइब्रेरी को देखा है) लेकिन मैंने पढ़ा है कि यह लाइब्रेरी दूसरे पर स्केल नहीं करती है यदि आवश्यक हो तो मशीनें। अभी मुझे यकीन नहीं है कि मुझे अपने कोड को चलाने के लिए एक से अधिक सर्वर की आवश्यकता होगी, लेकिन मैं स्थानीय रूप से अजवाइन चलाने की सोच रहा हूं और फिर स्केलिंग को केवल कोड को दोबारा करने के बजाय नए सर्वर जोड़ने की आवश्यकता होगी (जैसा कि मैंने उपयोग किया होगा बहु)।

मेरा प्रश्न: क्या यह तर्क सही है? और क्या स्थानीय रूप से अजवाइन का उपयोग करने के साथ कोई नकारात्मक (प्रदर्शन) है (यदि यह एकाधिक कोर वाले एक सर्वर को मेरे कार्य को पूरा कर सकता है)? या क्या यह मल्टीप्रोसेसिंग का उपयोग करने और बाद में कुछ और में बढ़ने की सलाह दी जाती है?

धन्यवाद!

पेज। यह एक व्यक्तिगत शिक्षण परियोजना के लिए है, लेकिन शायद मैं एक दिन एक फर्म में डेवलपर के रूप में काम करना चाहता हूं और सीखना चाहता हूं कि पेशेवर कैसे करते हैं।

Answer 1

मैंने वास्तव में कभी भी सेलरी का उपयोग नहीं किया है, लेकिन मैंने मल्टीप्रोसेसिंग का उपयोग किया है।

सेलेरी में संदेशों (कार्यों) को पास करने के कई तरीके हैं, जिसमें विभिन्न मशीनों पर श्रमिकों को चलाने में सक्षम होना चाहिए। तो एक नकारात्मक पक्ष यह हो सकता है कि संदेश पासिंग मल्टीप्रोसेसिंग के मुकाबले धीमी हो सकती है, लेकिन दूसरी तरफ आप लोड को अन्य मशीनों में फैला सकते हैं।

आप सही हैं कि मल्टीप्रोसेसिंग केवल एक मशीन पर चल सकती है। लेकिन दूसरी तरफ, प्रक्रियाओं के बीच संचार बहुत तेज़ हो सकता है, उदाहरण के लिए साझा स्मृति का उपयोग करके। इसके अलावा यदि आपको बहुत बड़ी मात्रा में डेटा संसाधित करने की आवश्यकता है, तो आप स्थानीय डिस्क से डेटा को आसानी से पढ़ और लिख सकते हैं, और प्रक्रियाओं के बीच बस फ़ाइल नाम पास कर सकते हैं।

मुझे नहीं पता कि सेलेरी कार्य विफलताओं से कितनी अच्छी तरह से निपटेंगे। उदाहरण के लिए, कार्य कभी खत्म नहीं हो सकता है, या क्रैश हो सकता है, या हो सकता है कि आप किसी कार्य को मारने की क्षमता प्राप्त कर सकें यदि यह निश्चित समय सीमा में समाप्त नहीं हुआ हो। मुझे नहीं पता कि इसके लिए समर्थन जोड़ना कितना मुश्किल होगा यदि यह वहां नहीं है।

मल्टीप्रोसेसिंग बॉक्स के बाहर गलती सहनशीलता के साथ नहीं आती है, लेकिन आप इसे बिना किसी परेशानी के स्वयं बना सकते हैं।

Answer 2

मैंने यह तय करने के लिए अभी एक परीक्षण समाप्त किया है कि multiprocessing.Pool और साझा सरणी पर ओवरहेड के रूप में कितना सेलेरी जोड़ती है। परीक्षण एक (2 9 2, 353, 1652) uint16 सरणी पर wiener फ़िल्टर चलाता है। दोनों संस्करण एक ही चंकिंग का उपयोग करते हैं (मोटे तौर पर: उपलब्ध सीपीयू की संख्या के वर्ग रूट द्वारा 2 9 2,353 आयामों को विभाजित करें)। दो अजवाइन संस्करणों की कोशिश की गई: एक समाधान मसालेदार डेटा भेजता है, दूसरा प्रत्येक कार्यकर्ता में अंतर्निहित डेटा फ़ाइल खोलता है।

परिणाम: मेरे 16 कोर i7 सीपीयू अजवाइन पर लगभग 16s, multiprocessing.Pool साझा एरे के साथ 15s के बारे में लगता है। मुझे यह अंतर आश्चर्यजनक रूप से छोटा लगता है।

ग्रैन्युलरिटी बढ़ने से अंतर स्पष्ट रूप से बढ़ जाता है (अजवाइन को अधिक संदेश पास करना पड़ता है): अजवाइन 15 एस, multiprocessing.Pool 12 लेता है।

ध्यान रखें कि अजवाइन कर्मचारी मेजबान पर पहले ही चल रहे थे जबकि पूल श्रमिकों को प्रत्येक रन पर फोर्क किया गया था।मुझे यकीन है कि कैसे मैं शुरुआत में पूल बहु शुरू के बाद से मैं प्रारंभकर्ता में साझा सरणियों गुजारें सकता नहीं कर रहा हूँ:

with closing(Pool(processes=mp.cpu_count(), initializer=poolinit_gen, initargs=(sourcearrays, resarrays))) as p: 

और केवल resarrays ताला लगा द्वारा संरक्षित हैं।