9
मैं जानना चाहता हूं कि आउटपुट कोलेक्टर का 'इंस्टेंस' आउटपुट मानचित्र फ़ंक्शन में उपयोग किया जाता है: output.collect (कुंजी, मान) यह-आउटपुट- कहीं भी महत्वपूर्ण मूल्य जोड़े संग्रहीत कर रहा है? भले ही यह reducer फ़ंक्शन पर निकल जाए, फिर भी यह एक मध्यवर्ती फ़ाइल होनी चाहिए, है ना? उन फाइलें क्या हैं? क्या वे प्रोग्रामर द्वारा दृश्यमान और निर्णय लेते हैं? क्या आउटपुटकी क्लास, और आउटपुट वैल्यू क्लासेस हैं जिन्हें हम मुख्य कार्य में इन स्टोरेज के स्थानों में निर्दिष्ट करते हैं? [Text.class और IntWritable.class]हडोप: आउटपुटकॉल्टर MapReduce के दौरान कैसे काम करता है?
मै मैड्रिडस में शब्द गणना उदाहरण के लिए मानक कोड दे रहा हूं, जिसे हम नेट में कई स्थानों पर पा सकते हैं।
public class WordCount {
public static class Map extends MapReduceBase implements Mapper<LongWritable, Text, Text, IntWritable> {
private final static IntWritable one = new IntWritable(1);
private Text word = new Text();
public void map(LongWritable key, Text value, OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException {
String line = value.toString();
StringTokenizer tokenizer = new StringTokenizer(line);
while (tokenizer.hasMoreTokens()) {
word.set(tokenizer.nextToken());
output.collect(word, one);
}
}
}
public static class Reduce extends MapReduceBase implements Reducer<Text, IntWritable, Text, IntWritable> {
public void reduce(Text key, Iterator<IntWritable> values, OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException {
int sum = 0;
while (values.hasNext()) {
sum += values.next().get();
}
output.collect(key, new IntWritable(sum));
}
}
public static void main(String[] args) throws Exception {
JobConf conf = new JobConf(WordCount.class);
conf.setJobName("wordcount");
conf.setOutputKeyClass(Text.class);
conf.setOutputValueClass(IntWritable.class);
conf.setMapperClass(Map.class);
conf.setCombinerClass(Reduce.class);
conf.setReducerClass(Reduce.class);
conf.setInputFormat(TextInputFormat.class);
conf.setOutputFormat(TextOutputFormat.class);
FileInputFormat.setInputPaths(conf, new Path(args[0]));
FileOutputFormat.setOutputPath(conf, new Path(args[1]));
JobClient.runJob(conf);
}
}
आप इन अस्थायी फ़ाइलों तक क्यों पहुंचना चाहते हैं? क्या आपके पास एक ऐसी चीज है जिसे आप प्राप्त करना चाहते हैं? या यह सिर्फ curisoity है? – adranale
मैं इन अस्थायी फ़ाइलों का स्थान बदलना चाहता हूं। – catty