18
this guide से त्रुटि में विफल रहा, मैंने सफलतापूर्वक नमूना अभ्यास चलाया है। लेकिन मेरे mapreduce काम चल रहा है पर, मैं लॉग फ़ाइलहैडोप स्ट्रीमिंग जॉब पाइथन
java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 2
at org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.java:311)
at org.apache.hadoop.streaming.PipeMapRed.mapRedFinished(PipeMapRed.java:545)
at org.apache.hadoop.streaming.PipeMapper.close(PipeMapper.java:132)
at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:57)
at org.apache.hadoop.streaming.PipeMapRunner.run(PipeMapRunner.java:36)
at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:358)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:307)
at org.apache.hadoop.mapred.Child.main(Child.java:170)
Mapper.py
import sys
i=0
for line in sys.stdin:
i+=1
count={}
for word in line.strip().split():
count[word]=count.get(word,0)+1
for word,weight in count.items():
print '%s\t%s:%s' % (word,str(i),str(weight))
Reducer.py
import sys
keymap={}
o_tweet="2323"
id_list=[]
for line in sys.stdin:
tweet,tw=line.strip().split()
#print tweet,o_tweet,tweet_id,id_list
tweet_id,w=tw.split(':')
w=int(w)
if tweet.__eq__(o_tweet):
for i,wt in id_list:
print '%s:%s\t%s' % (tweet_id,i,str(w+wt))
id_list.append((tweet_id,w))
else:
id_list=[(tweet_id,w)]
o_tweet=tweet
से निम्न त्रुटि हो रही है
ERROR streaming.StreamJob: Job not Successful!
10/12/16 17:13:38 INFO streaming.StreamJob: killJob...
Streaming Job Failed!
त्रुटि नौकरी चलाने के लिए [संपादित करें] कमांड:
[email protected]:/usr/local/hadoop$ bin/hadoop jar contrib/streaming/hadoop-0.20.0-streaming.jar -file /home/hadoop/mapper.py -mapper /home/hadoop/mapper.py -file /home/hadoop/reducer.py -reducer /home/hadoop/reducer.py -input my-input/* -output my-output
इनपुट वाक्यों का कोई यादृच्छिक अनुक्रम है।
धन्यवाद,
उत्तर के लिए धन्यवाद, लेकिन मुझे अभी भी एक ही त्रुटि मिल रही है। – db42
अपनी पायथन लिपि के शीर्ष पर #!/Usr/bin/env पायथन जोड़ने का प्रयास करें, यह केवल cat data.file | ./mapper.py | sort | .redreder द्वारा कमांड लाइन से निष्पादित करने में सक्षम होना चाहिए। py और यह फ़ाइल के शीर्ष पर "#!/usr/bin/env python" के बिना नहीं होगा –
धन्यवाद जो, यह चाल है। – db42