मानचित्र मानचित्र पर अटकने के लिए नौकरी कम करें 0% 0%

Question

मैं प्रसिद्ध शब्दकाउंट उदाहरण चला रहा हूं। मेरे पास एक स्थानीय और प्रोड हैडूप सेटअप है। वही उदाहरण प्रोड में काम कर रहा है, लेकिन यह स्थानीय रूप से काम नहीं कर रहा है। क्या कोई मुझे बता सकता है कि मुझे क्या देखना चाहिए। नौकरी फंस रही है। कार्य लॉग हैं:

~/tmp$ hadoop jar wordcount.jar WordCount /testhistory /outputtest/test 
Warning: $HADOOP_HOME is deprecated. 

13/08/29 16:12:34 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same. 
13/08/29 16:12:35 INFO input.FileInputFormat: Total input paths to process : 3 
13/08/29 16:12:35 INFO util.NativeCodeLoader: Loaded the native-hadoop library 
13/08/29 16:12:35 WARN snappy.LoadSnappy: Snappy native library not loaded 
13/08/29 16:12:35 INFO mapred.JobClient: Running job: job_201308291153_0015 
13/08/29 16:12:36 INFO mapred.JobClient: map 0% reduce 0% 

स्थानीय रूप से छद्म वितरित मोड के रूप में चलने में हूपॉप। सभी 3 प्रक्रियाओं, नामनोड, डेटानोड, जॉबट्रैकर चल रहा है। अगर कुछ अतिरिक्त जानकारी की आवश्यकता है तो मुझे बताएं।

Answer 1

टास्कट्रैकर गायब प्रतीत होता है।

प्रयास करें:

hadoop tasktracker & 

Answer 2

Hadoop 2.x में इस समस्या स्मृति मुद्दों से संबंधित हो सकता है, आप इसे MapReduce in Hadoop 2.2.0 not working

Answer 3

में देख सकते हैं मैं एक ही समस्या थी और इस पृष्ठ मुझे मदद मिली: http://www.alexjf.net/blog/distributed-systems/hadoop-yarn-installation-definitive-guide/

असल में मैंने निम्नलिखित 3 चरणों का उपयोग करके अपनी समस्या हल की। तथ्य यह है कि मुझे वास्तव में बहुत अधिक स्मृति को कॉन्फ़िगर करना पड़ा था।

1) यार्न-site.xml

• yarn.resourcemanager.hostname = hostname_of_the_master
• yarn.nodemanager.resource.memory-एमबी = 4000
• yarn.nodemanager.resource.cpu-vcores = 2
• yarn.scheduler.minimum-आवंटन-एमबी = 4000

2) mapred-site.xml

• yarn.app.mapreduce.am.resource.mb = 4000
• yarn.app.mapreduce.am.command-opts = -Xmx3768m
• mapreduce.map.cpu.vcores = 2
• mapreduce.reduce.cpu.vcores = 2

3) सभी नोड्स

Answer 4

hadoop tasktracker & के अलावा और किसी भी अन्य मुद्दों भर में इन फ़ाइलों को भेजें। कृपया कोड जांचें और सुनिश्चित करें कि infinite loop या कोई अन्य बग नहीं है। शायद आपके कोड में कुछ बग हैं!

Answer 5

यदि यह समस्या हाइव क्वेरी का उपयोग करते समय आ रही है तो जांच करें कि क्या आप विभाजनों को लीवरेज किए बिना दो बहुत बड़ी टेबल में शामिल हो रहे हैं या नहीं। विभाजन का उपयोग नहीं करने से लंबे समय तक पूर्ण टेबल स्कैन चल सकते हैं और इसलिए मानचित्र पर 0% 0% कम हो गया है।