2012-04-19 9 views
20

मुझे कुछ मशीन लर्निंग एल्गोरिदम के लिए यादृच्छिक जंगल की तरह पता है, जो प्रकृति द्वारा हैं समानांतर में लागू किया जाना चाहिए। मैं घर का काम करता हूं और पाते हैं कि ये तीन समांतर प्रोग्रामिंग ढांचे हैं, इसलिए मुझे यह जानने में दिलचस्पी है कि इन तीन प्रकार के समांतरता के बीच क्या बड़ा अंतर है?एमपीआई बनाम जीपीयू बनाम हैडोप, इन तीन समांतरता के बीच क्या बड़ा अंतर है?

विशेष रूप से, अगर कोई मुझे कुछ अध्ययन करने के लिए इंगित कर सकता है तो उनके बीच के अंतर की तुलना करें, यह सही होगा!

कृपया पेशेवरों और प्रत्येक समानांतरवाद के लिए विपक्ष की सूची बनाना, धन्यवाद

+1

हैडोप सिर्फ एक डाटास्टोरेज है जो आपको मैंगलिंग प्रतिमान (मैपरेडस) प्रदान करता है। एमपीआई का उपयोग करने के लिए आपको पीएचडी की आवश्यकता है और यह गणना के लिए है। जीपीयू सिर्फ हार्डवेयर है। आपकी अपील क्या है? –

+1

इस धागे को देखें http://stackoverflow.com/questions/10074047/mpi-gpu-how-to-mix-the-two-techniques – Infinity

उत्तर

34
  1. एमपीआई संदेश समानांतरवाद के प्रतिमान गुजर रहा है। यहां, आपके पास एक रूट मशीन है जो अपने एमपीआई वर्ल्ड में सभी मशीनों पर प्रोग्राम बनाती है। सिस्टम में सभी धागे स्वतंत्र हैं और इसलिए उनके बीच संचार का एकमात्र तरीका नेटवर्क पर संदेशों के माध्यम से है। एमपीआई कार्यान्वयन के प्रदर्शन में नेटवर्क बैंडविड्थ और थ्रूपुट सबसे महत्वपूर्ण कारक है। आइडिया: यदि प्रति मशीन केवल एक थ्रेड है और आपके पास कई कोर हैं, तो आप एक मशीन पर अपनी समस्या के सबसेट को हल करने के लिए ओपनएमपी साझा मेमोरी पैराडाइम का उपयोग कर सकते हैं।

  2. सीयूडीए समांतरता का एक एसएमटी प्रतिमान है। यह समांतरता प्रदान करने के लिए कला जीपीयू वास्तुकला की स्थिति का उपयोग करता है। एक जीपीयू में लॉक-स्टेप फ़ैशन में समान निर्देश पर काम करने वाले (ब्लॉक का सेट)) (यह सिम मॉडल के समान है) शामिल है। इसलिए, यदि आपके सिस्टम में सभी धागे एक ही काम करते हैं, तो आप CUDA का उपयोग कर सकते हैं। लेकिन एक जीपीयू में साझा स्मृति और वैश्विक स्मृति की मात्रा सीमित है और इसलिए आपको बड़ी समस्या को हल करने के लिए केवल एक जीपीयू का उपयोग नहीं करना चाहिए।

  3. हाडोप का उपयोग मानचित्र कम करने वाले पैराडाइम का उपयोग करके कमोडिटी हार्डवेयर पर बड़ी समस्याओं को हल करने के लिए किया जाता है। इसलिए, आपको डेटा वितरित करने या कोने के मामलों के प्रबंधन के बारे में चिंता करने की ज़रूरत नहीं है। हडोप गणना गणना नोड्स पर डेटा संग्रहीत करने के लिए एक फ़ाइल सिस्टम एचडीएफएस भी प्रदान करता है।




Hadoop, MPI और CUDA पूरी तरह से एक दूसरे के लिए ओर्थोगोनल हैं। इसलिए, उनकी तुलना करना उचित नहीं हो सकता है।

हालांकि, आप GPU के समूह के उपयोग से किसी समस्या को हल करने के लिए हमेशा (CUDA + MPI) का उपयोग कर सकते हैं। समस्या के संचार भाग को करने के लिए आपको अभी भी एक सरल कोर की आवश्यकता है।

संबंधित मुद्दे