क्लौडेरा और हॉर्टनवर्क्स अपाचे हैडोप की बुनियादी अवधारणाओं में से एक एचडीएफएस का उपयोग करते हैं। MapR अपनी अवधारणा/कार्यान्वयन का उपयोग करता है। एचडीएफएस के बजाय, आप मूल फ़ाइल सिस्टम का सीधे उपयोग करते हैं। आप MapR की वेबसाइट पर इस दृष्टिकोण का उपयोग करके बहुत सारे फायदे पा सकते हैं।क्लौडेरा और हॉर्टनवर्क्स की तुलना में हैडोप वितरण मैपआर के नुकसान क्या हैं?
मुझे आश्चर्य है कि इस दृष्टिकोण के नुकसान क्या हैं?
मैं मैपआर को थोड़ा अलग तरीके से परिभाषित करता हूं। यह एचडीएफएस का उपयोग नहीं करता है, लेकिन इसके बजाय एनएफएस इंटरफ़ेस के साथ अपनी वितरित फ़ाइल सिस्टम प्रदान करता है। जो, साथ ही एचडीएफएस स्थानीय एफएस पर आधारित है।
मुख्य अंतर इस तथ्य से आ रहे हैं कि एचडीएफएस पॉज़िक्स और अन्य डिज़ाइन विकल्प नहीं है।
1. मैडआर के दौरान एचडीएफएस उत्परिवर्तनीय नहीं है। इसे लाभ के रूप में देखा जा सकता है, खासकर यदि आपको इसकी आवश्यकता है।
2. मैडआर है, जबकि एचडीएफएस आरोही नहीं है। आप लिनक्स एफएस के साथ काम कर रहे किसी मौजूदा उपकरण का उपयोग कर सकते हैं।
पॉज़िक्स से संबंधित नहीं: मानचित्रआर में छोटे ब्लॉक आकार हैं और विफलता का एक बिंदु नहीं है (NameNode)। मानचित्रआर में बहुआयामी प्रतिकृति है।
अंधेरे पक्ष को भी देखने देता है: ए) म्यूटेबल डेटा (म्यूटेबल एचडीएफएस के बजाय) सिस्टम को और अधिक जटिल बनाता है।
बी) यह विशाल क्लस्टर पर काम करने के लिए ज्ञात नहीं है (कम से कम मेरे लिए)। (मैंने लगभग सौ नोड्स सुना)।
सी) आर्किटेक्चर बिंदु (छोटे ब्लॉक वाले) से मुझे यकीन नहीं है कि डेटा डेटा कितना अच्छा हो सकता है।
डेविड, मिनट-प्रकार का रिकॉर्ड 1/30/2013 को Google क्लाउड में Google Compute Engine पर MapR द्वारा सेट किया गया था। हमारे ब्लॉग को http://www.mapr.com/blog/hadoop-minutesort-record पर देखें। रिकॉर्ड 2103-नोड क्लस्टर पर सेट किया गया था और 1.5 सेकंड में 1.5 टीबी डेटा सॉर्ट किया गया था।
मैपआर द्वारा टेरासोर्ट रिकॉर्ड के बारे में पहले ब्लॉग को 54 सेकंड में 1 टीबी डेटा सॉर्ट करने के बारे में भी देखें। यह Google क्लाउड में Google Compute Engine पर 1003-नोड क्लस्टर पर सेट किया गया था। ब्लॉग http://www.mapr.com/blog/record-setting-hadoop-in-the-cloud पर पोस्ट किया गया है।
इस विषय पर कई प्रश्न/उत्तर के लिए answer.mapr.com भी देखें।
यह बहुत ही रोचक दस्तावेज़ है। मुझे लगता है कि एचडीएफएस प्रतिस्थापन के अलावा मैपआर सुधारों का सारांश होना बहुत उपयोगी होगा। –
इसके अलावा - यह स्पष्ट नहीं है कि दस्तावेज़ में उल्लिखित फ़ाइल सर्वर क्या है, और नेटवर्क क्या था - 1 जीबीआईटी या 10 जीबीआईटी? –
फ़ाइल सर्वर मानक MapR वितरित फ़ाइल सर्वर है। नेटवर्क 10 जीबीई है। देखें http://www.mapr.com/doc/display/MapR/Start+Here –
कुछ निष्पक्ष स्रोत अपाचे हैडोप बनाम मैपआर के संस्करण के व्यापक बेंचमार्किंग (विभिन्न वर्कलोड के तहत) करता है, मुझे लगता है कि हम स्पष्ट रूप से यह नहीं कह सकते कि एक दूसरे की तुलना में तेज़ है। यदि रिकॉर्ड आपकी राय निर्धारित करने जा रहे हैं, तो अब आपको वर्तमान टेरासोर्ट रिकॉर्ड याहू द्वारा अपाचे हैडोप के साथ आयोजित किया जाना चाहिए। विवरण here और here।
कुछ और ध्यान देने के लिए, "टेराबाइट बेंचमार्क अब बहिष्कृत है क्योंकि यह अनिवार्य रूप से मिनीटॉर्ट के समान ही बन गया है।" आरईएफ: http://sortbenchmark.org/ – Ragaar
मैपआर और हॉर्टोनवर्क/क्लौडेरा के बीच मुख्य नुकसान यह है कि मैपआरएफएस (फाइल सिस्टम) और मैपआर-डीबी (एनओएसक्यूएल डेटाबेस) स्वामित्व (खुले स्रोत नहीं) हैं। यदि मैपआर अब मौजूद नहीं था, तो यह माना जाता है कि इन उत्पादों को विकसित और समर्थित करना बंद कर दिया जाएगा।
एचडीएफएस/एचबीएएस का विकास और समर्थन नहीं किया जा रहा है क्योंकि हॉर्टनवर्क्स, क्लौडेरा और अन्य हडोप वितरण ओपन सोर्स समुदाय के साथ एचडीएफएस/एचबीएएस का उपयोग/समर्थन करते हैं।
डेविड की अंधेरे-पक्ष टिप्पणियों के संबंध में, (ए) उत्परिवर्तन उपयोगकर्ता के लिए चीजों को अधिक सरल बनाता है, (बी) यह बड़े समूहों पर काम करता है ...हाल के विश्व प्रकार के रिकॉर्ड देखें, (सी) छोटे ब्लॉक इलाके के लिए मुद्दा नहीं हैं; मैपआर डिस्क यूनिट (छोटे ब्लॉक), क्लस्टर स्ट्रिपिंग यूनिट (जैसे हडोप ब्लॉक 100 के एमबी) की अवधारणाओं को अलग करता है और स्थिर स्केलिंग (हैडॉप्स डिफ़ॉल्ट 64 एमबी के बजाय 30 जीबी)। –
टेड - कृपया सॉर्ट रिकॉर्ड –
डेव के लिए एक लिंक प्रदान करें, श्रीवास पहले ही लिंक प्रदान कर चुके हैं। देखें http://www.mapr.com/blog/hadoop-minutesort-record –