मानचित्र से कुंजी में मिस्चैच टाइप करें: अपेक्षित org.apache.hadoop.io.Text, प्राप्त किया गया org.apache.hadoop.io.LongWritable

Question

मैं जावा में एक नक्शा/reducer चलाने की कोशिश कर रहा हूँ। नीचे मेरी फ़ाइलें

WordCount.java

package counter; 


public class WordCount extends Configured implements Tool { 

public int run(String[] arg0) throws Exception { 
    Configuration conf = new Configuration(); 

    Job job = new Job(conf, "wordcount"); 

    job.setOutputKeyClass(Text.class); 
    job.setOutputValueClass(IntWritable.class); 

    job.setMapperClass(WordCountMapper.class); 
    job.setReducerClass(WordCountReducer.class); 

    job.setInputFormatClass(TextInputFormat.class); 
    job.setOutputFormatClass(TextOutputFormat.class); 

    FileInputFormat.addInputPath(job, new Path("counterinput")); 
    // Erase previous run output (if any) 
    FileSystem.get(conf).delete(new Path("counteroutput"), true); 
    FileOutputFormat.setOutputPath(job, new Path("counteroutput")); 

    job.waitForCompletion(true); 
    return 0; 
} 

public static void main(String[] args) throws Exception { 
    int res = ToolRunner.run(new Configuration(), new WordCount(), args); 
    System.exit(res); 

    } 
} 

WordCountMapper.java

public class WordCountMapper extends 
Mapper<LongWritable, Text, Text, IntWritable> { 
    private final static IntWritable one = new IntWritable(1); 
    private Text word = new Text(); 

    public void map(LongWritable key, Text value, OutputCollector<Text,IntWritable> output, Reporter reporter) 
    throws IOException, InterruptedException { 
     System.out.println("hi"); 
    String line = value.toString(); 
    StringTokenizer tokenizer = new StringTokenizer(line); 
    while (tokenizer.hasMoreTokens()) { 
     word.set(tokenizer.nextToken()); 
     output.collect(word, one); 
     } 
    } 
} 

WordCountReducer.java

public class WordCountReducer extends Reducer<Text, IntWritable, Text, IntWritable> { 
    public void reduce(Text key, Iterator<IntWritable> values, 
     OutputCollector<Text,IntWritable> output, Reporter reporter) throws IOException, InterruptedException { 
     System.out.println("hello"); 
     int sum = 0; 
     while (values.hasNext()) { 
      sum += values.next().get(); 
     } 
     output.collect(key, new IntWritable(sum)); 
    } 
} 

निम्नलिखित मैं हो रही है त्रुटि

13/06/23 23:13:25 INFO jvm.JvmMetrics: Initializing JVM Metrics with 
processName=JobTracker, sessionId= 

13/06/23 23:13:25 WARN mapred.JobClient: Use GenericOptionsParser for parsing the 
arguments. Applications should implement Tool for the same. 
13/06/23 23:13:26 INFO input.FileInputFormat: Total input paths to process : 1 
13/06/23 23:13:26 INFO mapred.JobClient: Running job: job_local_0001 
13/06/23 23:13:26 INFO input.FileInputFormat: Total input paths to process : 1 
13/06/23 23:13:26 INFO mapred.MapTask: io.sort.mb = 100 
13/06/23 23:13:26 INFO mapred.MapTask: data buffer = 79691776/99614720 
13/06/23 23:13:26 INFO mapred.MapTask: record buffer = 262144/327680 
13/06/23 23:13:26 WARN mapred.LocalJobRunner: job_local_0001 
java.io.IOException: Type mismatch in key from map: expected org.apache.hadoop.io.Text, 
recieved org.apache.hadoop.io.LongWritable 
at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.collect(MapTask.java:845) 
at org.apache.hadoop.mapred.MapTask$NewOutputCollector.write(MapTask.java:541) 
at org. 
apache.hadoop.mapreduce.TaskInputOutputContext.write(TaskInputOutputContext.java:80) 
at org.apache.hadoop.mapreduce.Mapper.map(Mapper.java:124) 
at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:144) 
at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:621) 
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:305) 
at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:177) 
13/06/23 23:13:27 INFO mapred.JobClient: map 0% reduce 0% 
13/06/23 23:13:27 INFO mapred.JobClient: Job complete: job_local_0001 
13/06/23 23:13:27 INFO mapred.JobClient: Counters: 0 

हैं

मुझे लगता है कि यह मैपर और रेड्यूसर क्लास को खोजने में सक्षम नहीं है। मैंने मुख्य कक्षा में कोड लिखा है, यह डिफ़ॉल्ट मैपर और रेड्यूसर क्लास प्राप्त कर रहा है।

job.setMapOutputKeyClass(Text.class); 
job.setMapOutputValueClass(IntWritable.class); 

आप TextOutputFormat जो LongWritable कुंजी और डिफ़ॉल्ट रूप से पाठ मूल्य का उत्सर्जन करता है का उपयोग कर रहे हैं, लेकिन आप कुंजी और IntWritable मूल्य के रूप में के रूप में पाठ उत्सर्जन कर रहे हैं:

Answer 1

अपने कोड में ये 2 पंक्तियां जोड़ें। आपको इसे प्रसिद्धि के बारे में बताने की जरूरत है।

HTH

Answer 2

यह आपकी समस्या का नहीं हो सकता है, लेकिन मैं इस मूर्खतापूर्ण मुद्दा एक बार किया था। सुनिश्चित करें कि आप पुरानी और नई पुस्तकालयों को मिश्रित नहीं कर रहे हैं यानी मानचित्रित बनाम मैड्रिडस। अपने मानचित्र पर @ ओवरराइट करें और विधियों को कम करें। यदि आपको त्रुटियां दिखाई देती हैं तो आप विधियों को सही तरीके से ओवरराइड नहीं कर रहे हैं।

Answer 3

मैं अनुचित मैपर कक्षा मेरे कोड (टाइपो :))

job.setMapperClass(Mapper.class) // Set to org.apache.hadoop.mapreduce.Mapper due to type 

सूचना है कि गलती से मैं mapreduce पैकेज से मैपर वर्ग उपयोग कर रहा था में सेट की वजह से एक समान अपवाद स्टैक ट्रेस मिल गया, मैं इसे अपने कस्टम के लिए बदल दिया मैपर वर्ग:

job.setMapperClass(LogProcMapperClass.class) // LogProcMapperClass is my custom mapper. 

मैपर वर्ग को सही करने के बाद अपवाद का समाधान किया गया है।