विभाजन! हडूप इसे कैसे बनाता है? हैश फ़ंक्शन का उपयोग करें? डिफ़ॉल्ट कार्य क्या है?

Question

विभाजन यह निर्धारित करने की प्रक्रिया है कि कौन सा रेड्यूसर उदाहरण प्राप्त करेगा जो मध्यवर्ती कुंजी और मान प्राप्त करेगा। प्रत्येक मैपर को अपने सभी आउटपुट (कुंजी, वैल्यू) जोड़े के लिए निर्धारित करना होगा जो reducer उन्हें प्राप्त करेंगे। यह जरूरी है कि किसी भी कुंजी के लिए, चाहे मैपर उदाहरण किसने उत्पन्न किया हो, गंतव्य विभाजन एक ही समस्या है: हडूप इसे कैसे बनाता है? हैश फ़ंक्शन का उपयोग करें? डिफ़ॉल्ट कार्य क्या है?

Answer 1

हैडोप में डिफ़ॉल्ट विभाजनकर्ता HashPartitioner है जिसमें getPartition नामक एक विधि है। यह key.hashCode() & Integer.MAX_VALUE लेता है और कार्यों को कम करने की संख्या का उपयोग करके मॉड्यूलस पाता है।

उदाहरण के लिए, यदि 10 कार्य कम करते हैं, तो getPartition सभी चाबियों के लिए 0 से 9 मान वापस कर देगा।

यहाँ कोड है:

public class HashPartitioner<K, V> extends Partitioner<K, V> { 
    public int getPartition(K key, V value, int numReduceTasks) { 
     return (key.hashCode() & Integer.MAX_VALUE) % numReduceTasks; 
    } 
} 

एक कस्टम विभाजक बनाने के लिए, आप Partitioner का विस्तार, एक विधि getPartition बन जाएगा, तो ड्राइवर कोड (job.setPartitionerClass(CustomPartitioner.class);) में अपने विभाजक निर्धारित किया है। उदाहरण के लिए, माध्यमिक प्रकार के संचालन करते समय यह विशेष रूप से सहायक होता है।