2013-04-24 5 views

उत्तर

22

को समझने के लिए GroupComparator, इस सवाल का मेरा उत्तर देखते हैं -

What is the use of grouping comparator in hadoop map reduce

SortComparator: कैसे नक्शे उत्पादन कुंजी पुस्तक Hadoop से

अंशः हल कर रहे हैं परिभाषित करने के लिए प्रयोग किया जाता है - निश्चित गाइड:

कुंजी के लिए क्रमबद्ध क्रम निम्नानुसार पाया जाता है:

  1. संपत्ति mapred.output.key.comparator.class सेट है, तो या तो स्पष्ट या नौकरी पर setSortComparatorClass() फोन करके, तो उस वर्ग का एक उदाहरण प्रयोग किया जाता है। ( में पुराने एपीआई बराबर विधि setOutputKeyComparatorClass()JobConf पर है।)

  2. अन्यथा, कुंजी WritableComparable का एक उपवर्ग होना चाहिए, और कुंजी वर्ग के लिए पंजीकृत तुलनित्र प्रयोग किया जाता है।

  3. अगर कोई पंजीकृत तुलनित्र है, तो एक RawComparator प्रयोग किया जाता है deserializes कि बाइट धाराओं वस्तुओं और WritableComparable के compareTo() विधि के प्रतिनिधियों में तुलना की जा रही।

SortComparator बनाम एक एक लाइनर में GroupComparator: SortComparator का फैसला करता है कि कैसे नक्शा उत्पादन कुंजी हल कर रहे हैं, जबकि GroupComparator का फैसला करता है जो प्रसारण के भीतर नक्शे उत्पादन चाबियाँ एक ही को कम विधि कॉल करने के लिए जाना।

5

समूह तुलनाकारी का फैसला करता है जो नक्शे उत्पादन कुंजी एक चाबी, में एकजुट किया जाएगा (समूहीकृत) और निश्चित रूप से मूल्यों के सभी संग्रह भी समूह में रखा जाएगा। आमतौर पर सारांश संग्रह के लिए केवल एक ही कुंजी के रूप में पहली कुंजी लेती है।

SortComparator का फैसला करता है कि कैसे कुंजी को कम से इनपुट में हल हो जाएगा। डिफ़ॉल्ट रूप से यह प्राकृतिक क्रम का उपयोग करता है।

संबंधित मुद्दे

 संबंधित मुद्दे