हाय मैं एक बड़ा डेटा नौसिखिया हूँ। मैंने पूरे इंटरनेट पर खोज की कि यह वास्तव में उबेर मोड क्या है। जितना अधिक मैंने खोजा उतना ही मुझे भ्रमित हो गया। क्या कोई मेरे प्रश्नों का उत्तर देकर मेरी मदद कर सकता है?हडूप में "उबर मोड" का उद्देश्य क्या है?
हाडोप 2 में यूबर मोड क्या है?
आम तौर पर मैपर्स और रेड्यूसर संसाधन प्रबंधक (आरएम) द्वारा चलाए जाएंगे, आरएम मैपर और रेड्यूसर के लिए अलग कंटेनर बनाएगा। उबर कॉन्फ़िगरेशन, एप्लिकेशनमास्टर (एएम) जैसी प्रक्रिया में मैपर और रेड्यूसर चलाने की अनुमति देगा।
उबेर नौकरियों:
उबेर नौकरियों नौकरियों कि MapReduce ApplicationMaster भीतर क्रियान्वित कर रहे हैं कर रहे हैं। इसके बजाय मैपर और रेड्यूसर कंटेनर बनाने के लिए आरएम के साथ संवाद करें। एएम मानचित्र चलाता है और कार्यों को अपनी प्रक्रिया में कम करता है और रिमोट कंटेनरों के साथ लॉन्च करने और संवाद करने के ऊपरी हिस्से से बचाता है।
क्यों
यदि आप एक छोटे डाटासेट है या आप डेटा की एक छोटी राशि पर MapReduce चलाना चाहते हैं, उबेर विन्यास आप, बाहर में मदद मिलेगी अतिरिक्त समय है कि MapReduce सामान्य रूप से नक्शाकार में खर्च करता है और चरण reducers कमी आ गई।
क्या मैं सभी MapReduce नौकरी के लिए उबर कॉन्फ़िगर कर सकता हूं?
अब तक, मानचित्र-केवल नौकरियां और एक reducer के साथ नौकरियां समर्थित हैं।
उबर जॉब तब होता है जब एकाधिक मैपर और रेड्यूसर एक कंटेनर का उपयोग करने के लिए संयुक्त होते हैं। mapred-site.xml में उबर जॉब्स की कॉन्फ़िगरेशन के चारों ओर चार कोर सेटिंग्स हैं। उबेर नौकरियां लिए कॉन्फ़िगरेशन विकल्प:
mapreduce.job.ubertask.enablemapreduce.job.ubertask.maxmapsmapreduce.job.ubertask.maxreducesmapreduce.job.ubertask.maxbytesआप यहाँ और अधिक जानकारी प्राप्त कर सकते हैं: http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.1.15/bk_using-apache-hadoop/content/uber_jobs.html
hadoop2.x के संदर्भ में, उबर नौकरियां नौकरियां हैं जो मैप्रिडस एप्लिकेशनमास्टर में ही लॉन्च किए जाते हैं यानी मानचित्र के लिए कोई अलग कंटेनर नहीं बनाया जाता है और नौकरियों को कम करता है और इसलिए कंटेनर बनाने और उनके साथ संचार करने के ऊपरी हिस्से को बचाया जाता है।
जहां तक काम कर रहा है (हैडूप 1.x और 2.x के साथ) चिंतित है, मुझे लगता है कि अंतर केवल 1.x और 2.x की शब्दावली की बात आती है, काम करने में कोई फर्क नहीं पड़ता।
कॉन्फ़िगरेशन पैराम उनके उत्तर में नवनीत कुमार द्वारा उल्लिखित लोगों के समान हैं।
पीएस: इसे केवल छोटे डेटासेट के साथ उपयोग करें।
"अच्छे उत्तर क्या है?" के लिए बहुत अच्छे उत्तर दिए गए हैं बस "क्यों?" के लिए कुछ और जानकारी जोड़ने के लिए
एप्लिकेशन मास्टर यह निर्णय लेता है कि को MapReduce नौकरी बनाने वाले कार्यों को कैसे चलाया जाए। यदि नौकरी छोटा है, तो एप्लिकेशन मास्टर उसी JVM में कार्यों को स्वयं चलाने के लिए चुन सकता है। यह तब होता है जब यह नए कंटेनरों में आवंटित करने और चलाने के कार्यों के ऊपरी हिस्से का न्याय करता है, उन्हें समानांतर में चलाने में लाभ से अधिक होता है, जब उन्हें एक नोड पर अनुक्रमिक रूप से चलाने की तुलना में किया जाता है।
अब, सवाल के रूप में "क्या एक छोटे से काम के रूप में उत्तीर्ण उठाया जा सकता है?
डिफ़ॉल्ट रूप से, एक छोटा सा काम एक कम से कम 10 मानचित्रकारों, केवल एक कम करने है, और एक इनपुट आकार कि कम है एक एचडीएफएस ब्लॉक के आकार की तुलना में