हमें हडोप स्टैक में ज़ूकीपर की आवश्यकता क्यों है?

Question

मैं हडोप/चिड़ियाघर के लिए नया हूं। मैं हूओप के साथ चिड़ियाघर का उपयोग करने के उद्देश्य को समझ नहीं सकता, क्या हूओप में ज़ूकीपर लिखने वाला डेटा है? यदि नहीं, तो हम हूओप के साथ चिड़ियाघर का उपयोग क्यों करते हैं?

Answer 1

हैडोप 1.x जुकीपर का उपयोग नहीं करता है। एचबीएएस हडोप 1.x इंस्टॉलेशन में भी ज़ूकीपर का उपयोग करता है।

हैडोप ने ज़ूकीपर को संस्करण 2.0 के साथ शुरू किया।

जुकीपर का उद्देश्य क्लस्टर प्रबंधन है। यह छोटे विशिष्ट घटकों का उपयोग करने के * निक्स के सामान्य दर्शन के साथ फिट बैठता है - इसलिए हडोप के घटक जो क्लस्टरिंग क्षमताओं को चाहते हैं, उनके लिए ज़ूकीपर पर भरोसा करते हैं।

Zookeeper एक वितरित भंडारण कि निम्नलिखित की गारंटी देता है प्रदान करता है (Zookeeper overview page से नकल) है:

• अनुक्रमिक संगति - एक ग्राहक से अपडेट आदेश है कि वे भेजा गया था में लागू किया जाएगा।
• परमाणुता - अपडेट या तो सफल होते हैं या विफल हो जाते हैं। कोई आंशिक परिणाम नहीं।
• एकल सिस्टम छवि - एक ग्राहक सेवा के समान दृश्य को देखेगा, चाहे वह से कनेक्ट हो।
• विश्वसनीयता - एक बार अपडेट लागू हो जाने पर, यह उस समय से जारी रहेगा जब तक कोई ग्राहक अद्यतन को ओवरराइट नहीं करता।
• समयबद्धता - सिस्टम के क्लाइंट व्यू को एक निश्चित समय सीमा के भीतर अद्यतित होने की गारंटी है।

आप इन विभिन्न लागू करने के लिए "recipes" ताले की तरह क्लस्टर प्रबंधन, नेता चुनाव आदि

आप चिड़ियाघर संचालक अपने आप को उपयोग करने के लिए जा रहे हैं, मैं तुम्हें पर एक नज़र लेने की सलाह देते के लिए आवश्यक हैं कि उपयोग कर सकते हैं Curator from Netflix जो यह आसान उपयोग करने के लिए

Answer 2

जुकीपर विश्वसनीय वितरित समन्वय की समस्या हल करता है, और हैडोप एक वितरित प्रणाली है, है ना?

एक उत्कृष्ट पेपर Paxos Algorithm है जिसे आप इस विषय पर पढ़ सकते हैं।

Answer 3

(जैसे वे बॉक्स से बाहर कुछ व्यंजनों को लागू) zookeeper प्रलेखन पृष्ठ से बनाता है:

चिड़ियाघर संचालक एक केंद्रीकृत रों है कॉन्फ़िगरेशन जानकारी, नामकरण, वितरित सिंक्रनाइज़ेशन प्रदान करने और समूह सेवाओं को प्रदान करने के लिए सेवा। इन सभी प्रकार की सेवाओं का उपयोग वितरित अनुप्रयोगों द्वारा किसी रूप में या किसी अन्य रूप में किया जाता है।

हर बार जब उन्हें लागू किया जाता है तो वहां बहुत सारे काम होते हैं जो बग और दौड़ की स्थितियों को ठीक करने में सक्षम होते हैं जो अनिवार्य हैं। इन प्रकार की सेवाओं को लागू करने में कठिनाई के कारण, अनुप्रयोगों में शुरुआत में आमतौर पर उन पर कंजूसी होती है, जो उन्हें परिवर्तन की उपस्थिति और प्रबंधन में मुश्किल होती है। यहां तक ​​कि जब सही तरीके से किया जाता है, तब भी इन सेवाओं के विभिन्न कार्यान्वयन के लिए प्रबंधन जटिलता होती है जब अनुप्रयोग तैनात किए जाते हैं।

अपाचे ™ Hadoop® परियोजना विश्वसनीय, स्केलेबल, वितरित अभिकलन के लिए ओपन सोर्स सॉफ्टवेयर विकसित करता है:

hadoop प्रलेखन पृष्ठ से।

क्यों हम की जरूरत है:

The Apache Hadoop सॉफ्टवेयर पुस्तकालय एक रूपरेखा है कि सरल प्रोग्रामिंग मॉडल

आपकी क्वेरी के बारे में उपयोग करने वाले कंप्यूटर के समूहों भर में बड़े डेटा सेट के वितरित प्रसंस्करण के लिए अनुमति देता है हडोप स्टैक में चिड़ियाघर?

बाध्यकारी कारक प्रसंस्करण और उच्च उपलब्धता वितरित किया जाता है।

उदा। Hadoop Namenode प्रक्रिया में विफल।

Hadoop उच्च उपलब्धता प्रक्रिया पर असफल लिए चारों ओर सक्रिय Namenode & स्टैंडबाय Namenode बनाया गया है। किसी भी समय, आपके पास एक ही समय में दो स्वामी (सक्रिय नामनोड्स) नहीं होना चाहिए।

अपाचे दस्तावेज़ीकरण लिंक से

HDFSHighAvailabilityWithQJM पर:

यह एक हा क्लस्टर कि NameNodes का केवल एक एक समय में सक्रिय हो के सही संचालन के लिए महत्वपूर्ण है। अन्यथा, नेमस्पेस स्थिति तेजी से डेटा हानि या अन्य गलत परिणामों को खतरे में डालकर दोनों के बीच अलग हो जाएगी। इस संपत्ति को सुनिश्चित करने और तथाकथित "विभाजन-मस्तिष्क परिदृश्य" को रोकने के लिए, जर्नल नोड्स कभी भी एक ही नाम नोड को एक समय में लेखक होने की अनुमति देगा।

एक विफलता के दौरान, नाम नोड जो सक्रिय होना है, वह जर्नल नोड्स को लिखने की भूमिका निभाएगा, जो सक्रिय रूप से अन्य नाम नोड को सक्रिय स्थिति में जारी रखने से रोक देगा, जिससे नई सक्रिय सुरक्षित रूप से विफलता के साथ आगे बढ़ने की अनुमति देगी। ।

स्प्लिट - मस्तिष्क परिदृश्य से बचने के लिए जुकीपर का उपयोग किया गया है। आप नीचे दिए गए प्रश्न में Zookeeper की भूमिका पा सकते हैं:

How does Hadoop Namenode failover process works?