2016-09-18 12 views
6

के लिए मैं निश्चित गाइड के माध्यम से पढ़ सकते हैं और एक hereघसीटना और तरह mapreduce

मेरा प्रश्न सहित वेब पर कुछ अन्य लिंक

है जहां वास्तव में फेरबदल और हो छँटाई करता है?

मेरी समझ के अनुसार, वे दोनों मैपर और रेड्यूसर पर होते हैं। लेकिन कुछ लिंक का उल्लेख है कि मैपर्स पर शफल होता है और रेड्यूसर पर सॉर्टिंग होता है।

कोई मेरी पुष्टि कर सकता है कि मेरी समझ सही है या नहीं; यदि नहीं, तो क्या वे अतिरिक्त दस्तावेज प्रदान कर सकते हैं जो मैं कर सकता हूं?

उत्तर

5

फेरबदल:

MapReduce गारंटी नहीं है कि हर कम करने के लिए इनपुट कुंजी के अनुसार क्रमबद्ध है बनाता है। जिस प्रक्रिया से सिस्टम क्रमबद्ध करता है और transfers map outputs to the reducers as inputs को शफल के रूप में जाना जाता है।

क्रमबद्ध करें:

छंटाई MapReduce कार्यक्रम के विभिन्न चरणों में होता है, तो मानचित्र में मौजूद है और चरणों को कम कर सकते हैं।

कृपया इस चित्र enter image description here

मानचित्र में ऊपर छवि को और अधिक विवरण जोड़ने पर एक नजर है और चरणों को कम करें।

मानचित्र साइड:

नक्शा समारोह उत्पादन उत्पादन शुरू होता है, यह बस डिस्क पर लिखी नहीं है। मानचित्र आउटपुट डिस्क पर लिखने से पहले, धागा पहले divides the data into partitions corresponding to the reducers था कि उन्हें अंततः भेजा जाएगा। प्रत्येक विभाजन के भीतर, background thread performs an in-memory sort by key

कम साइड:

जब सभी नक्शे आउटपुट कॉपी किया गया है, को कम काम, प्रकार चरण (जो ठीक से मर्ज चरण बुलाया जाना चाहिए में समा जाता है के रूप में छंटाई मानचित्र पर किया गया पक्ष), जो नक्शा आउटपुट को विलय करता है, उनके क्रम क्रम को बनाए रखता है। यह दौर में किया जाएगा।

स्रोत: हडोप परिभाषा गाइड।

+0

सही, मेरे मूल प्रश्न पर वापस आना, शफल करना और क्रमशः मैपर और रेड्यूसर पर दोनों तरह से होना चाहिए? – red

+0

हाँ !! विभिन्न परिदृश्यों में मैपर और रेड्यूसर दोनों में शफल और सॉर्ट होता है। – mrsrinivas

संबंधित मुद्दे