में एक ही नौकरी के लिए मैपर और रेड्यूसर आउटपुट मुद्रित करना संभव है, किसी दिए गए एमआर नौकरी के लिए, मुझे दो आउटपुट फाइलों का उत्पादन करने की आवश्यकता है। एक फ़ाइल मैपर एक और फ़ाइल के उत्पादन में प्रसारण के उत्पादन मेंहैडोप मैप्रिडस
दोनों नक्शाकार और कम करने उत्पादन एक भी काम में लिखा जा रहा है सकते हैं (जो सिर्फ एक मैपर ऊपर का एकत्रीकरण है) होना चाहिए किया जाना चाहिए?
संपादित करें:
नौकरी 1 (केवल मैपर चरण) आउटपुट एक ही पंक्ति है, जो HDFS (file1) को पत्र लिखा जाना है में 20 क्षेत्रों में शामिल है में। जॉब 2 (मैपर एन रेड्यूसर) में मैपर जॉब 1 आउटपुट से इनपुट लेता है, कुछ फ़ील्ड को मानक प्रारूप (केवल 10 फ़ील्ड) में लाने के लिए हटा देता है और इसे reducer में भेजता है जो फ़ाइल 2 लिखता है।
मुझे hdfs में file1 और file2 दोनों की आवश्यकता है ... अब मेरा संदेह है, चाहे जॉब 1 मैपर में मैं फ़ाइल 1 के रूप में hdfs में डेटा लिख सकता हूं, फिर उसी डेटा को संशोधित कर सकता हूं और इसे reducer में भेज सकता हूं।
पीएस: अभी तक मैं चेनिंग तंत्र के साथ 2 नौकरियों का उपयोग कर रहा हूं। पहली नौकरी में केवल नक्शा होता है, सेकंड जॉब में मैपर और रेड्यूसर होता है।
मुझे लगता है, आप परिणाम उत्पन्न करने के लिए एक एमआर नौकरी का उपयोग कर सकते हैं। क्या आप दूसरी नौकरी के मैपर में कोई बदलाव कर रहे हैं, यदि नहीं, तो मैपर के आउटपुट को एक एमआर नौकरी में रेड्यूसर में पास करें। – YoungHobbit
मैं दूसरा मैपर मैं सिर्फ एक पंक्ति के लिए कॉलम की संख्या को संशोधित कर रहा हूं .. उदाहरण के लिए: मैपर (फ़ाइल 1) के आउटपुट में 20 कॉलम हैं, मैपर 2 के आउटपुट में 7 कॉलम हैं। Mapper2 से डुप्लिकेट पंक्तियों को reducer में हटा दिया जाएगा। – Abhinay
यदि आप पहले नौकरियों में ऐसा कर सकते हैं तो मैपर फिर वहां करें और नौकरियों को मर्ज करें। अन्यथा दोनों नौकरियों के बारे में विस्तृत जानकारी कृपया। – YoungHobbit