फेरबदल:
MapReduce गारंटी नहीं है कि हर कम करने के लिए इनपुट कुंजी के अनुसार क्रमबद्ध है बनाता है। जिस प्रक्रिया से सिस्टम क्रमबद्ध करता है और transfers map outputs to the reducers as inputs
को शफल के रूप में जाना जाता है।
क्रमबद्ध करें:
छंटाई MapReduce कार्यक्रम के विभिन्न चरणों में होता है, तो मानचित्र में मौजूद है और चरणों को कम कर सकते हैं।
कृपया इस चित्र
मानचित्र में ऊपर छवि को और अधिक विवरण जोड़ने पर एक नजर है और चरणों को कम करें।
मानचित्र साइड:
नक्शा समारोह उत्पादन उत्पादन शुरू होता है, यह बस डिस्क पर लिखी नहीं है। मानचित्र आउटपुट डिस्क पर लिखने से पहले, धागा पहले divides the data into partitions corresponding to the reducers
था कि उन्हें अंततः भेजा जाएगा। प्रत्येक विभाजन के भीतर, background thread performs an in-memory sort by key
।
कम साइड:
जब सभी नक्शे आउटपुट कॉपी किया गया है, को कम काम, प्रकार चरण (जो ठीक से मर्ज चरण बुलाया जाना चाहिए में समा जाता है के रूप में छंटाई मानचित्र पर किया गया पक्ष), जो नक्शा आउटपुट को विलय करता है, उनके क्रम क्रम को बनाए रखता है। यह दौर में किया जाएगा।
स्रोत: हडोप परिभाषा गाइड।
सही, मेरे मूल प्रश्न पर वापस आना, शफल करना और क्रमशः मैपर और रेड्यूसर पर दोनों तरह से होना चाहिए? – red
हाँ !! विभिन्न परिदृश्यों में मैपर और रेड्यूसर दोनों में शफल और सॉर्ट होता है। – mrsrinivas