Hadoop - एक्सएमएल में मानचित्र कार्यों में वृद्धि मानचित्र कार्य नहीं बढ़ जाती है जब रन

Question

मैं अपने conf/mapred-site.xml

<property> 
    <name>mapred.tasktracker.map.tasks.maximum</name> 
    <value>4</value> 
</property> 

<property> 
    <name>mapred.tasktracker.reduce.tasks.maximum</name> 
    <value>1</value> 
</property> 

में निम्नलिखित लेकिन जब मैं काम चलाने के लिए, अपने अभी भी 2 maps(which is default one) रन की साझेदारी की? मैं इस संख्या को बढ़ाने के लिए कैसे मजबूर कर सकता हूं?

पीएस मैं Ubuntu Quad core बॉक्स का उपयोग कर रहा

धन्यवाद

Answer 1

क्या आप थोड़ी सी मात्रा में डेटा चला रहे हैं? यह हो सकता है कि आपका MapReduce नौकरी केवल एक इनपुट विभाजन पर चल रहा है और इस प्रकार अधिक मैपर की आवश्यकता नहीं है। इसके बजाय सैकड़ों एमबी डेटा पर अपना काम चलाने का प्रयास करें और देखें कि क्या आपके पास अभी भी एक ही समस्या है।

एकल नोड पर चलाने में सक्षम कार्यों की अधिकतम संख्या में नौकरी के कार्यों के कार्यों के साथ कुछ लेना देना नहीं है। आपका काम 20 मानचित्र कार्य हो सकता है, जबकि आपके क्लस्टर में 5 मानचित्र स्लॉट हैं, और इसमें अधिक समय लगेगा। या, आपके क्लस्टर में 50 मानचित्र स्लॉट हो सकते हैं, लेकिन आपके काम में केवल 2 मानचित्र स्लॉट हैं।

Answer 2

<property> 
    <name>mapred.tasktracker.map.tasks.maximum</name> 
    <value>1</value> 
    <final>true</final> 
</property> 

कि कोशिश करो।

Answer 3

mapred.tasktracker.map.tasks.maximum एक कार्यकर्ता एक साथ चलने वाले कार्यों की अधिकतम संख्या है। लेकिन जब आप पूरी तरह से नौकरी के लिए मानचित्र कार्यों की संख्या निर्धारित करना चाहते हैं, तो mapred.map.tasks से 4