मैं दो वैचारिक MapReduce के लिए और hadoop.I एक सरल एक यात्रा mapreduce कार्यक्रम पता है, पता है कि एक नक्शाकार, कम करने, चतुर मनुष्य है .. संबंधित संदेह था लेकिन फिर भी निम्न प्रश्नों के बारे में जानना चाहते हैंएक पहचान मैपर/reducer कब इस्तेमाल किया जाता है?
1) जब पुनरावृत्त नक्शा कम किया जाता है?
2) मुझे पता है कि पहचान मैपर/रेड्यूसर फेड इनपुट के समान आउटपुट देता है। लेकिन हम पहचान मैपर/रेड्यूसर का उपयोग कब करते हैं?
1) एक पुनरावृत्त एमआर एल्गोरिदम का एक उदाहरण डिजस्ट्रा का सबसे छोटा पथ एल्गोरिदम है। प्रत्येक पुनरावृत्ति पर सभी सक्रिय नोड्स के नजदीक पड़ोसियों की खोज की जाती है, कम करने के चरण का उपयोग यह जांचने के लिए किया जाता है कि गंतव्य नोड पहले से ही पहुंच चुका है या नहीं। अन्य उदाहरण फेसबुक के दोस्तों के मित्र हैं (एफओएफ) नए दोस्तों को सुझाव देने के लिए एल्गोरिदम।
2) पहचान नक्शाकार प्रयोग किया जाता है (दूसरों के बीच में इस्तेमाल किया जा सकता है!) यदि आप केवल तरह अपने इनपुट चाहेंगे। पहचान reducer उदाहरण के लिए को शर्मनाक समानांतर एल्गोरिदम लागू करने के लिए उपयोग किया जा सकता है, जहां आप समांतर कार्यों को करने के लिए केवल मैपर का उपयोग करते हैं लेकिन आप आउटपुट कुंजी मान जोड़े को सॉर्ट करना चाहते हैं।
आशा है कि यह आपको अपने रास्ते पर पहुंचाएगा।
ध्यान दें कि पहचान reducer के अलावा आप कोई reducer सेट भी हो सकता है (तो नक्शा आउटपुट क्रमबद्ध नहीं है)।
पहचान आदेश reducer का उपयोग कर कुल आदेश विभाजन (पूर्ण सॉर्टिंग) संभव नहीं है। यह सिर्फ व्यक्तिगत reducer रिकॉर्ड टाइप करता है। एक और उपयोग केस मैपर के आउटपुट डेटा के एक फ़ाइल (एकल reducer निर्दिष्ट करके) में विलय आउटपुट होगा। – Ashish
आप भ्रमित (या गलतफहमी) चीजों को समझते हैं: यदि आप कुल ऑर्डर विभाजनकर्ता का उपयोग करते हैं तो आपका आउटपुट पूरी तरह से एक पहचान reducer के साथ सॉर्ट किया जाएगा यदि आप कोई विभाजनकर्ता का उपयोग नहीं करते हैं तो आउटपुट को कम करने के लिए सॉर्ट किया जाएगा लेकिन सामान्य रूप से नहीं। – DDW
मैंने वही बात कहा :-) आप कह सकते हैं कि यह समूहबद्ध है (एक ही कुंजी एक साथ) जिसे हम पहचान reducer का उपयोग करके प्राप्त कर सकते हैं – Ashish
शायद यह दो अलग-अलग प्रश्नों के रूप में सबसे अच्छा पूछा जाता है। –
पहचान मानचित्र का मतलब अकेला नक्शा है? –