'केवल नक्शा' हैडूप नौकरियां कैसे लिखें?

Question

मैं हडूप पर एक नौसिखिया हूं, मैं मानचित्र की शैली से परिचित हो रहा हूं-प्रोग्रामिंग को कम करता हूं लेकिन अब मुझे एक समस्या का सामना करना पड़ रहा है: कभी-कभी मुझे नौकरी के लिए केवल नक्शा चाहिए और मुझे केवल आउटपुट के रूप में मानचित्र परिणाम की आवश्यकता है, जो इसका मतलब है कि चरण को कम करने की आवश्यकता नहीं है, मैं इसे कैसे प्राप्त कर सकता हूं?

Answer 1

यह reducer बंद कर देता है।

job.setNumReduceTasks(0); 

http://hadoop.apache.org/docs/current/api/org/apache/hadoop/mapreduce/Job.html#setNumReduceTasks(int)

Answer 2

तुम भी IdentityReducer उपयोग कर सकते हैं:

http://hadoop.apache.org/common/docs/current/api/org/apache/hadoop/mapred/lib/IdentityReducer.html

Answer 3

जब आप केवल टर्मिनल से मानचित्रकारों से काम शुरू करने के लिए की जरूरत काफी मददगार हो सकता है।

-D mapred.reduce.tasks=0 

तो परिणाम आदेश के बाद किया जाएगा:: आप परोक्ष Hadoop जार आदेश में 0 reducers specifing द्वारा reducers बंद कर सकते हैं

hadoop jar myJob.jar -D mapred.reduce.tasks=0 -input myInputDirs -output myOutputDir 

पिछड़े संगत होना करने के लिए, Hadoop भी "-reduce कोई नहीं का समर्थन करता है "विकल्प, जो" -D mapred.reduce.tasks = 0 "के बराबर है।