मैपरीडस नौकरियां स्वीकृत राज्य में फंस गई हैं

Question

मेरे पास अपना खुद का मैपराइडस कोड है जिसे मैं चलाने की कोशिश कर रहा हूं, लेकिन यह स्वीकार्य स्थिति पर रहता है। मैंने एक और नमूना एमआर नौकरी चलाने की कोशिश की जिसे मैं पहले चलाऊंगा और जो सफल था। लेकिन अब, दोनों नौकरियां स्वीकृत राज्य में रहती हैं। मैंने mapred-site.xml और yarn-site.xml में विभिन्न गुणों को बदलने की कोशिश की है जैसा कि here और here बताया गया है, लेकिन इससे कोई मदद नहीं मिली। क्या कोई यह बता सकता है कि संभवतः गलत क्या हो सकता है। मैं उपयोग कर रहा हूँ Hadoop-2.2.0

मैं विभिन्न गुणों के लिए कई मूल्यों की कोशिश की है, यहाँ एक values- के सेट mapred-site.xml

<property> 
<name>mapreduce.job.tracker</name> 
<value>localhost:54311</value> 
</property> 

<property> 
<name>mapreduce.job.tracker.reserved.physicalmemory.mb</name> 
<value></value> 
</property> 

<property> 
<name>mapreduce.map.memory.mb</name> 
<value>256</value> 
</property> 

<property> 
<name>mapreduce.reduce.memory.mb</name> 
<value>256</value> 
</property> 


<property> 
<name>yarn.app.mapreduce.am.resource.mb</name> 
<value>400</value> 
<source>mapred-site.xml</source> 
</property> 

में यार्न साइट में है। एक्सएमएल

<property> 
<name>yarn.nodemanager.resource.memory-mb</name> 
<value>400</value> 
<source>yarn-site.xml</source> 
</property> 
<property> 
<name>yarn.scheduler.capacity.maximum-am-resource-percent</name> 
<value>.3</value> 
</property> 

Answer 1

मैं एक ही प्रभाव नहीं पड़ा और पाया कि सिस्टम बन गया है और अधिक स्मृति कार्यकर्ता प्रति नोड उपलब्ध है और स्मृति एक आवेदन के लिए आवश्यक मदद की कम हो गए हैं।

मेरी यार्न-site.xml में मैं (मेरे बहुत छोटे प्रयोगात्मक बक्से पर) है सेटिंग:

<property> 
    <name>yarn.nodemanager.resource.memory-mb</name> 
    <value>2200</value> 
    <description>Amount of physical memory, in MB, that can be allocated for containers.</description> 
</property> 

<property> 
    <name>yarn.scheduler.minimum-allocation-mb</name> 
    <value>500</value> 
</property> 

Answer 2

ब्लॉग का पालन करें - http://hortonworks.com/blog/how-to-plan-and-configure-yarn-in-hdp-2-0/

इस विस्तार के लिए मानकों को स्थापित करने के लिए कैसे में वर्णन करता है यार्न कंटेनर

Answer 3

एक ही समस्या थी, और मेरे लिए यह एक पूर्ण हार्ड ड्राइव (> 9 0% पूर्ण) था जो मुद्दा था। सफाई की जगह मुझे बचाया।

Answer 4

यार्न पर accepted राज्य में फंसे नौकरी आमतौर पर मुफ्त संसाधनों के कारण पर्याप्त नहीं होती है। आप http://resourcemanager:port/cluster/scheduler पर यह जांच कर सकते हैं:

1. अगर Memory Used + Memory Reserved >= Memory Total, स्मृति पर्याप्त
2. अगर VCores Used + VCores Reserved >= VCores Total नहीं है, VCores यह भी इस तरह के maxAMShare के रूप में पैरामीटर द्वारा सीमित किया जा सकता पर्याप्त

नहीं है।

Answer 5

मुझे एक ही समस्या का सामना करना पड़ा। और मैंने उपर्युक्त उत्तरों में उल्लिखित प्रत्येक कॉन्फ़िगरेशन को बदल दिया लेकिन फिर भी इसका कोई उपयोग नहीं था। इसके बाद, मैंने अपने क्लस्टर के स्वास्थ्य को दोबारा जांच लिया। वहां, मैंने देखा कि मेरा एकमात्र नोड स्वस्थ राज्य में था। यह समस्या मेरे/tmp/hadoop-hadoopUser/nm-local-dir निर्देशिका में डिस्क स्थान की कमी के कारण थी। पोर्ट 8032 पर संसाधन प्रबंधक वेब यूआई में नोड स्वास्थ्य स्थिति की जांच करके उसी की जांच की जा सकती है। इसे हल करने के लिए, मैंने yarn-site.xml में संपत्ति को नीचे जोड़ा।

<property> 
    <name>yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage</name> 
    <value>98.5</value> 
</property> 

मेरी Hadoop डेमॉन को पुन: प्रारंभ करने के बाद, नोड स्थिति स्वस्थ करने के लिए बदल गया और नौकरियों को चलाने के लिए