2012-06-25 11 views
8

मुझे याद है कि हडोप का प्रदर्शन महत्वपूर्ण रूप से खराब हो जाता है अगर मशीनें चलती हैं तो वे एक दूसरे से बहुत अलग हैं, लेकिन मुझे अब यह टिप्पणी नहीं मिल रही है। मैं वीएम की एक सरणी पर एक हडोप क्लस्टर चलाने पर विचार कर रहा हूं जो सीधे मेरे समूह द्वारा प्रबंधित नहीं है, और मुझे यह जानने की ज़रूरत है कि यह एक आवश्यकता है जिसे मुझे अपने अनुरोध में रखा जाना चाहिए।क्या हूडूप क्लस्टर समान हार्डवेयर पर चलाना चाहिए?

तो, क्या मुझे समान हार्डवेयर वाले सभी मशीनों पर जोर देना चाहिए, या अलग-अलग हार्डवेयर कॉन्फ़िगरेशन में विभिन्न मशीनों पर चलना ठीक है?

धन्यवाद।

उत्तर

12

के बाद कागजात वर्णन करता है कि विषम क्लस्टर Hadoop के प्रदर्शन को प्रभावित नक्शा को कम:

एक विषम क्लस्टर में, नोड्स की कंप्यूटिंग क्षमताओं उल्लेखनीय फाई बात यह भिन्न हो सकते हैं। एक उच्च गति नोड कम गति वाले समकक्षों की तुलना में नोड की स्थानीय डिस्क में संग्रहीत डेटा प्रोसेसिंग डेटा को सक्रिय कर सकता है। फास्ट नोड अपने स्थानीय इनपुट डेटा की प्रसंस्करण को पूरा करने के बाद, नोड को एक या अधिक दूरस्थ धीमी नोड्स में स्थित अनप्रचारित डेटा को संभालने से लोड साझाकरण का समर्थन करना चाहिए। जब लोड साझाकरण की वजह से स्थानांतरित डेटा की मात्रा बहुत बड़ी है, तो धीमी नोड्स से तेज़ नोड्स तक अप्रसन्न डेटा को स्थानांतरित करने का ओवरहेड हाडोप के प्रदर्शन को प्रभावित करने वाली एक महत्वपूर्ण समस्या बन जाता है।

बाद संदर्भ अधिक जानकारी के होते हैं:

  1. http://computerresearch.org/stpr/index.php/gjcst/article/view/749/658
  2. http://www.usenix.org/event/osdi08/tech/full_papers/zaharia/zaharia.pdf

यह भी तरीके हैं जिनसे आप विषम क्लस्टर पर प्रदर्शन में सुधार या इस प्रदर्शन की सजा से बच सकते हैं प्रदान करता है।

यह बुद्धिमानी से सुझाव दिया जाता है कि आपके समूह पर समरूप मशीनें हैं लेकिन यदि इन मशीनों में जंगली रूप से अलग-अलग विनिर्देश और प्रदर्शन अंतर नहीं हैं, तो आपको अपने क्लस्टर के निर्माण के साथ आगे बढ़ना चाहिए।

उत्पादन प्रणालियों के लिए, आपको समरूप मशीनों के लिए सुझाव देना चाहिए। विकास के लिए, प्रदर्शन महत्वपूर्ण नहीं है।

कभी भी, आप इसे बनाने के बाद अपने हडोप क्लस्टर को बेंचमार्क करने में सक्षम होना चाहिए।

+0

यह अच्छी सलाह है, धन्यवाद! – ILikeFood

2

एक समरूप क्लस्टर निश्चित रूप से आदर्श है, लेकिन यह कड़ाई से जरूरी नहीं है। याहू !, इंक, उदाहरण के लिए, अपने उत्पादन वातावरण में विषम क्लस्टर चलाता है। शोधकर्ताओं के साथ बात करने से, वे पाते हैं कि शेड्यूलिंग मुद्दों के कारण एक प्रदर्शन हिट है (एक बड़ी पर्याप्त हिट है कि वे अपने उपकरणों पर प्रदर्शन-जागरूक शेड्यूलिंग जोड़ने के लिए कड़ी मेहनत कर रहे हैं), लेकिन जुर्माना अपंग नहीं है।

संबंधित मुद्दे