कैसे जावा Hadoop मैपर से अधिक मान

Question

मेरे नक्शाकार निम्नलिखित tuples भेजने के लिए की जरूरत है भेज सकते हैं:

<custID,prodID,rate> 

और मैं एक कुंजी के रूप ग्राहकआईडी कम करने के लिए भेजने के लिए मूल्य prodid और दर के रूप में एक साथ, के रूप में चाहते हैं, और उन्हें कम चरण के लिए जरूरी है। ऐसा करने का सबसे अच्छा तरीका कौन सा है?

public void map(Object key, Text value, Context context) 
     throws IOException, InterruptedException { 

    String[] col = value.toString().split(","); 
    custID.set(col[0]); 
    data.set(col[1] + "," + col[2]); 
    context.write(custID, data); 
} 

public void reduce(Text key, Iterable<Text> values, Context context) 
     throws IOException, InterruptedException { 

    for (Text val : values) { 
     String[] temp = val.toString().split(","); 
     Text rate = new Text(temp[1]); 
     result.set(rate); 
     context.write(key, result); 
    } 
} 

Answer 1

सरलतम मैं के बारे में सोच सकते हैं उन्हें एक ही स्ट्रिंग में विलय करने के लिए बस है:

output.collect(custID, prodID + "," + rate); 

फिर, वापस ऊपर reducers पर अगर अलग हो गए।

यदि आप अपने मैपर से थोड़ा अधिक कोड पोस्ट करते हैं तो हम एक बेहतर उदाहरण दे सकते हैं।

अद्यतन: उस ने कहा, आपने सर्वोत्तम रास्ते के लिए कहा। सबसे सही तरीका शायद एक अलग वर्ग समूह prodID और rate एक साथ बनाने और उसे भेजने के लिए है।

Answer 2

सबसे अच्छा तरीका है CustomWritables

इस दोहरे मूल्य के लिए है लिखने के लिए है। आपको लगता है कि पाठ बदलने के लिए या स्ट्रिंग

import java.io.DataInput; 
import java.io.DataOutput; 
import java.io.IOException; 
import org.apache.hadoop.io.Writable; 


/** 
* @author Unmesha SreeVeni U.B 
* 
*/ 
public class TwovalueWritable implements Writable { 
    private double first; 
    private double second; 

    public TwovalueWritable() { 
     set(first, second); 
    } 
    public TwovalueWritable(double first, double second) { 
     set(first, second); 
    } 
    public void set(double first, double second) { 
     this.first = first; 
     this.second = second; 
    } 
    public double getFirst() { 
     return first; 
    } 
    public double getSecond() { 
     return second; 
    } 
    @Override 
    public void write(DataOutput out) throws IOException { 
     out.writeDouble(first); 
     out.writeDouble(second); 
    } 
    @Override 
    public void readFields(DataInput in) throws IOException { 
     first = in.readDouble(); 
     second = in.readDouble(); 
    } 

    /* (non-Javadoc) 
    * @see java.lang.Object#hashCode() 
    */ 
    @Override 
    public int hashCode() { 
     final int prime = 31; 
     int result = 1; 
     long temp; 
     temp = Double.doubleToLongBits(first); 
     result = prime * result + (int) (temp^(temp >>> 32)); 
     temp = Double.doubleToLongBits(second); 
     result = prime * result + (int) (temp^(temp >>> 32)); 
     return result; 
    } 
    /* (non-Javadoc) 
    * @see java.lang.Object#equals(java.lang.Object) 
    */ 
    @Override 
    public boolean equals(Object obj) { 
     if (this == obj) { 
      return true; 
     } 
     if (obj == null) { 
      return false; 
     } 
     if (!(obj instanceof TwovalueWritable)) { 
      return false; 
     } 
     TwovalueWritable other = (TwovalueWritable) obj; 
     if (Double.doubleToLongBits(first) != Double 
       .doubleToLongBits(other.first)) { 
      return false; 
     } 
     if (Double.doubleToLongBits(second) != Double 
       .doubleToLongBits(other.second)) { 
      return false; 
     } 
     return true; 
    } 
    @Override 
    public String toString() { 
     return first + "," + second; 
    } 
} 

और नक्शाकार से तुम सिर्फ फेंकना कर सकते हैं यह रूप में

context.write(key,new TwovalueWritable(prodID,rate)); 

आशा इस मदद करता है।