MapReduce में 1 कार्य के लिए reducers की संख्या

Question

एक विशिष्ट MapReduce सेटअप (जैसे हैडोप) में, 1 कार्य के लिए कितने reducer का उपयोग किया जाता है, उदाहरण के लिए, शब्दों की गिनती? Google से उस MapReduce की मेरी समझ का मतलब है केवल 1 reducer शामिल है। क्या वो सही है?

उदाहरण के लिए, शब्द गणना इनपुट को एन भाग में विभाजित करेगी, और एन मानचित्र चल रहा है, (शब्द, #) सूची का उत्पादन करेगा। मेरा सवाल यह है कि, मानचित्र चरण पूरा होने के बाद, परिणाम की गणना करने के लिए केवल एक reducer उदाहरण चल रहा होगा? या समानांतर में चल रहे reducers होगा?

Answer 1

सरल जवाब यह है कि reducers की संख्या 1 और हां नहीं है, reducers समानांतर में चला सकते हैं। जैसा कि मैंने उपरोक्त उल्लेख किया है, यह उपयोगकर्ता परिभाषित या व्युत्पन्न है।

चीजों को संदर्भ में रखने के लिए मैं इस मामले में हडोप का उल्लेख करूंगा ताकि आपको पता चल सके कि चीजें कैसे काम करती हैं। यदि आप हैडोप (0.20.2) में स्ट्रीमिंग एपीआई का उपयोग कर रहे हैं तो आपको स्पष्ट रूप से परिभाषित करना होगा कि डिफ़ॉल्ट रूप से आप कितने रेड्यूसर को चलाना चाहते हैं, केवल 1 कम कार्य लॉन्च किया जाएगा। आप -D mapred.reduce.tasks=# of reducers तर्क में reducers की संख्या पारित करके ऐसा करते हैं। जावा एपीआई आपको आवश्यक reducers की संख्या प्राप्त करने का प्रयास करेगा, लेकिन फिर आप इसे स्पष्ट रूप से भी सेट कर सकते हैं। दोनों स्थितियों में, प्रति नोड चलाने वाले रेड्यूसर की संख्या पर एक हार्ड कैप है और यह mapred.tasktracker.reduce.tasks.maximum का उपयोग कर mapred-site.xml कॉन्फ़िगरेशन फ़ाइल में सेट है।

एक और वैचारिक नोट पर, आप हडूप विकी पर this पोस्ट देख सकते हैं जो मानचित्र की संख्या चुनने और कार्यों को कम करने के बारे में बात करता है।

Answer 2

यह पूरी तरह से स्थिति पर निर्भर करता है। कुछ मामलों में, आपके पास कोई reducers नहीं है ... सब कुछ मैपसाइड किया जा सकता है। अन्य मामलों में, आप एक reducer होने से नहीं बच सकते हैं, लेकिन आम तौर पर यह दूसरे या तीसरे नक्शे में आता है/नौकरी को कम करता है जो पहले के परिणामों को नियंत्रित करता है। आम तौर पर, हालांकि, आप बहुत सारे reducers चाहते हैं या अन्यथा आप MapReduce की बहुत सारी शक्ति खो रहे हैं! शब्द गणना में, उदाहरण के लिए, आपके मैपर का परिणाम जोड़े होंगे। इन जोड़े को तब शब्द के आधार पर विभाजित किया जाता है जैसे कि प्रत्येक रेड्यूसर को वही शब्द मिलेंगे, और आपको अंतिम योग दे सकते हैं। प्रत्येक reducer तो परिणाम outputs। यदि आप चाहते थे, तो आप एक और एम/आर नौकरी बंद कर सकते थे जिसने इन सभी फाइलों को लिया और उन्हें संयोजित किया - उस नौकरी में केवल एक reducer होगा।

Answer 3

मैं सरल शब्द गणना उदाहरण के मामले में केवल एक reducer का उपयोग करने के लिए समझ में आता है।
यदि आप गणना के परिणामस्वरूप केवल एक नंबर के रूप में होना चाहते हैं तो आपको एक रेड्यूसर का उपयोग करना होगा (2 या अधिक रेड्यूसर आपको 2 या अधिक आउटपुट फाइलें देंगे)।

यदि इस reducer को पूरा करने में लंबा समय लग रहा है तो आप कई reducers चेनिंग के बारे में सोच सकते हैं जहां अगले चरण में reducers पिछले reducers के परिणाम मिलेगा।

Answer 4

रेड्यूसर समानांतर में चलता है। कॉन्फ़िगरेशन फ़ाइल mapred-site.xml को बदलने के दौरान आपके द्वारा सेट की गई रेड्यूसर की संख्या या रनिंग जॉब के कमांड के दौरान रेड्यूसर सेट करके या आप प्रोग्राम में इसे सेट कर सकते हैं, यह भी कि रेड्यूसर की संख्या समानांतर चलती है। इसे 1 के रूप में रखना जरूरी नहीं है। डिफ़ॉल्ट रूप से इसका मान 1.

Answer 5

डिफ़ॉल्ट मान 1. यदि आप हाइव या सुअर पर विचार कर रहे हैं, तो रेड्यूसर की संख्या क्वेरी पर निर्भर करती है, जैसे समूह द्वारा, योग .....

आपके मैप्रेडस कोड के मामले में, इसे नौकरी/conf पर setNumReduceTasks द्वारा परिभाषित किया जा सकता है।

job.setNumReduceTasks(3); 

बार यह किया जाता है के अधिकांश जब आप getPartition() के ऊपर लिख, अर्थातआप एक कस्टम विभाजनकर्ता

class customPartitioner extends Partitioner<Text,Text>{ 
    public int getPartition(Text key, Text value, int numReduceTasks){ 
    if(numReduceTasks==0) 
     return 0; 
    if(some logic) 
     return 0; 
    if(some logic) 
     return 1; 
    else 
     return 2; 
    } 
} 

एक बात आपको नोटिस होगी कि रेड्यूसर की संख्या = आउटपुट में भाग फ़ाइल की संख्या का उपयोग कर रहे हैं।

यदि आपको संदेह है तो मुझे बताएं।