यार्न संसाधनप्रबंधक किसी भी मदद</p> <p>मैं चला रहा हूँ निम्नलिखित संस्करणों के लिए अग्रिम में

Question

धन्यवाद nodemanager से कनेक्ट कर नहीं http: //: 50070 पर मैं सही ढंग से देख सकता हूं कि 2 नोड्स चल रहे हैं।

समस्या है जब मैं http: //: 8088 यह 0 नोड्स चल पता चलता है।

मैं समझता हूँ कि: 8088 संसाधनप्रबंधक को दर्शाता है और चल रहा है nodemanagers की संख्या को दर्शाता है। सभी डिमन्स शुरू होते हैं, लेकिन ऐसा लगता है कि nodemanagers संसाधन प्रबंधक से कनेक्ट नहीं हो रहे हैं।

की इस फ़ाइल है:

2013-12-16 20:55:48,648 INFO org.apache.hadoop.yarn.client.RMProxy: Connecting to ResourceManager at /127.0.0.1:8031 
2013-12-16 20:55:49,755 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: localhost/127.0.0.1:8031. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS) 
2013-12-16 20:55:50,756 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: localhost/127.0.0.1:8031. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS) 
2013-12-16 20:55:51,757 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: localhost/127.0.0.1:8031. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS) 
2013-12-16 20:55:52,758 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: localhost/127.0.0.1:8031. Already tried 3 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS) 
2013-12-16 20:55:53,759 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: localhost/127.0.0.1:8031. Already tried 4 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS) 
2013-12-16 20:55:54,760 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: localhost/127.0.0.1:8031. Already tried 5 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS) 

मैं जाँच की है और पोर्ट 8031 ​​खुला है।

संपादित करें:

भविष्य में इस को देखने वाले लोगों के लिए, मैं अपने धागा-site.xml संपादित करने के लिए की तरह लग रहे करने के लिए आवश्यक है:

<property> 
    <name>yarn.nodemanager.aux-services</name> 
    <value>mapreduce_shuffle</value> 
</property> 
<property> 
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> 
    <value>org.apache.hadoop.mapred.ShuffleHandler</value> 
</property> 
<property> 
    <name>yarn.resourcemanager.scheduler.address</name> 
    <value>master-1:8030</value> 
</property> 
<property> 
    <name>yarn.resourcemanager.address</name> 
    <value>master-1:8032</value> 
</property> 
<property> 
    <name>yarn.resourcemanager.webapp.address</name> 
    <value>master-1:8088</value> 
</property> 
<property> 
    <name>yarn.resourcemanager.resource-tracker.address</name> 
    <value>master-1:8031</value> 
</property> 
<property> 
    <name>yarn.resourcemanager.admin.address</name> 
    <value>master-1:8033</value> 
</property> 

Answer 1

आप का उल्लेख करना होगा

होस्टनाम: बंदरगाह

हाँ, यह सब मंजूरी पर स्थापित किया जाना है es, न केवल संसाधन प्रबंधक नोड (आप बस अपने सभी नोड्स के लिए एक ही हैडूप की confir dir की प्रतिलिपि बना लेंगे)। आप की जरूरत है कुछ न्यूनतम काम करने कॉन्फ़िगरेशन आरंभ करने के लिए, एक नज़र यहाँ ले: toster.ru/q/57046#answer_208326

Answer 2

rsync या scp आदेश दास नोड्स के लिए मास्टर नोड से विन्यास फाइल कॉपी करने के लिए इस्तेमाल किया जा सकता:

for host in $HADOOP_CONF_DIR/slaves; do 
    rsync -rv $HADOOP_CONF_DIR/* $host:$HADOOP_CONF_DIR/ 
done 

नोट, यहाँ मैं यह सोचते हैं हूँ सभी नोड्स एक ही Hadoop निर्देशिका लेआउट है।

Answer 3

मुझे एक बहुत ही समस्या थी, और इसे केवल संसाधन प्रबंधक होस्टनाम निर्दिष्ट करके हल किया गया था, प्रति सेवा सही पता लगाने की आवश्यकता नहीं है।

<property> 
    <name>yarn.resourcemanager.hostname</name> 
    <value>master-1</value> 
</property> 

Answer 4

मुझे भी एक ही समस्या थी, लेकिन मेरे मामले में संसाधन प्रबंधक में केवल एक नोड प्रबंधन सूचीबद्ध था। मैंने यार्न-साइट.एक्सएमएल में संपत्ति के नीचे रखा और मैं आरएम में सूचीबद्ध नोड्स देख सकता था।

<property> 
    <name>yarn.resourcemanager.hostname</name> 
    <value><master-1></value> 
</property> 

Answer 5

1. जांच यार्न हा सक्षम है या नहीं?
2. मामले में यह तो प्रत्येक संसाधन यार्न-site.xml yarn.resourcemanager.ha.rm-आईडी में उल्लेख किया है प्रबंधकों के लिए सक्षम किया गया है (उदाहरण के लिए RM1, RM2) संसाधनप्रबंधक सेवा चलाते हैं।

Answer 6

मुझे बहुत समान लक्षणों के साथ एक समस्या का सामना करना पड़ा, हालांकि यह संसाधन प्रबंधक से कनेक्ट नहीं हो रहा था। समस्या यह थी कि yarn-site.xml में "yarn.nodemanager.hostname" नाम की एक संपत्ति है (या हो सकती है)। उस सेटिंग को एचडीएफएस "नामनोड" के मेजबाननाम के साथ गलती से पॉप्युलेट किया गया था, लेकिन इसमें YARN प्रति-नोड "nodemanager" का होस्टनाम होना चाहिए। अन्य गुणों के लिए जो दर्ज किया गया था उसके आधार पर यह "त्रुटियों को पुनः प्रयास करना", "कनेक्शन अस्वीकार कर दिया गया", या संसाधन आवंटन त्रुटियों जैसी विभिन्न त्रुटियों का कारण बन रहा था। इसे "0.0.0.0" (डिफ़ॉल्ट) पर सेट करने से समस्या ठीक हो गई है।