प्रोग्रामिंग के रूप में एचबीएस में थोक लोड डेटा का सबसे तेज़ तरीका क्या है?

Question

मेरे पास संभवतः लाखों लाइनों के साथ एक सादा पाठ फ़ाइल है जिसके लिए कस्टम पार्सिंग की आवश्यकता है और मैं इसे जितनी जल्दी हो सके HBase तालिका में लोड करना चाहता हूं (हैडोप या एचबेस जावा क्लाइंट का उपयोग करके)।

मेरा वर्तमान समाधान पर MapReduce नौकरी के बिना काम पर आधारित है। मैं पाठ फ़ाइल को पढ़ने के लिए FileInputFormat का उपयोग करता हूं ताकि प्रत्येक पंक्ति मेरी Mapper कक्षा की विधि को पास कर दी गई हो। इस बिंदु पर Put ऑब्जेक्ट बनाने के लिए लाइन को पार्स किया गया है जो context पर लिखा गया है। फिर, TableOutputFormatPut ऑब्जेक्ट लेता है और इसे तालिका में सम्मिलित करता है।

यह समाधान प्रति सेकंड 1,000 पंक्तियों की औसत प्रविष्टि दर उत्पन्न करता है, जो कि मेरी अपेक्षा से कम है। मेरा एचबीएस सेटअप एक सर्वर पर छद्म वितरित मोड में है।

एक दिलचस्प बात यह है कि 1,000,000 पंक्तियों के सम्मिलन के दौरान, 25 मैपर (कार्य) उत्पन्न होते हैं लेकिन वे क्रमशः (एक के बाद एक) चलाते हैं; क्या यह सामान्य है?

public static class CustomMap extends Mapper<LongWritable, Text, ImmutableBytesWritable, Put> { 

    protected void map(LongWritable key, Text value, Context context) throws IOException { 
     Map<String, String> parsedLine = parseLine(value.toString()); 

     Put row = new Put(Bytes.toBytes(parsedLine.get(keys[1]))); 
     for (String currentKey : parsedLine.keySet()) { 
      row.add(Bytes.toBytes(currentKey),Bytes.toBytes(currentKey),Bytes.toBytes(parsedLine.get(currentKey))); 
     } 

     try { 
      context.write(new ImmutableBytesWritable(Bytes.toBytes(parsedLine.get(keys[1]))), row); 
     } catch (InterruptedException e) { 
      // TODO Auto-generated catch block 
      e.printStackTrace(); 
     } 
    } 
} 

public int run(String[] args) throws Exception { 
    if (args.length != 2) { 
     return -1; 
    } 

    conf.set("hbase.mapred.outputtable", args[1]); 

    // I got these conf parameters from a presentation about Bulk Load 
    conf.set("hbase.hstore.blockingStoreFiles", "25"); 
    conf.set("hbase.hregion.memstore.block.multiplier", "8"); 
    conf.set("hbase.regionserver.handler.count", "30"); 
    conf.set("hbase.regions.percheckin", "30"); 
    conf.set("hbase.regionserver.globalMemcache.upperLimit", "0.3"); 
    conf.set("hbase.regionserver.globalMemcache.lowerLimit", "0.15"); 

    Job job = new Job(conf); 
    job.setJarByClass(BulkLoadMapReduce.class); 
    job.setJobName(NAME); 
    TextInputFormat.setInputPaths(job, new Path(args[0])); 
    job.setInputFormatClass(TextInputFormat.class); 
    job.setMapperClass(CustomMap.class); 
    job.setOutputKeyClass(ImmutableBytesWritable.class); 
    job.setOutputValueClass(Put.class); 
    job.setNumReduceTasks(0); 
    job.setOutputFormatClass(TableOutputFormat.class); 

    job.waitForCompletion(true); 
    return 0; 
} 

public static void main(String[] args) throws Exception { 
    Long startTime = Calendar.getInstance().getTimeInMillis(); 
    System.out.println("Start time : " + startTime); 

    int errCode = ToolRunner.run(HBaseConfiguration.create(), new BulkLoadMapReduce(), args); 

    Long endTime = Calendar.getInstance().getTimeInMillis(); 
    System.out.println("End time : " + endTime); 
    System.out.println("Duration milliseconds: " + (endTime-startTime)); 

    System.exit(errCode); 
} 

Answer 1

मैं एक प्रक्रिया है कि शायद बहुत HBase में एक एमआर से डेटा लोड करने के लिए एक कारगर तरीका खोजने के लिए प्रयास करने के लिए तुम्हारा के समान है के माध्यम से चले गए हैं:

यहाँ मेरे वर्तमान समाधान के लिए कोड है। जो मैंने काम में पाया वह एमआर के आउटपुटफॉर्मैट क्लास के रूप में HFileOutputFormat का उपयोग कर रहा है।

नीचे मेरे कोड का आधार है कि मुझे job और मैपर map फ़ंक्शन उत्पन्न करना है जो डेटा लिखता है। यह तेज़ था। हम अब इसका उपयोग नहीं करते हैं, इसलिए मेरे पास हाथों की संख्या नहीं है, लेकिन यह एक मिनट के भीतर लगभग 2.5 मिलियन रिकॉर्ड था।

यहाँ (नीचे छीन) समारोह मैं काम उत्पन्न करने के लिए मेरी MapReduce प्रक्रिया HBase

private Job createCubeJob(...) { 
    //Build and Configure Job 
    Job job = new Job(conf); 
    job.setJobName(jobName); 
    job.setMapOutputKeyClass(ImmutableBytesWritable.class); 
    job.setMapOutputValueClass(Put.class); 
    job.setMapperClass(HiveToHBaseMapper.class);//Custom Mapper 
    job.setJarByClass(CubeBuilderDriver.class); 
    job.setInputFormatClass(TextInputFormat.class); 
    job.setOutputFormatClass(HFileOutputFormat.class); 

    TextInputFormat.setInputPaths(job, hiveOutputDir); 
    HFileOutputFormat.setOutputPath(job, cubeOutputPath); 

    Configuration hConf = HBaseConfiguration.create(conf); 
    hConf.set("hbase.zookeeper.quorum", hbaseZookeeperQuorum); 
    hConf.set("hbase.zookeeper.property.clientPort", hbaseZookeeperClientPort); 

    HTable hTable = new HTable(hConf, tableName); 

    HFileOutputFormat.configureIncrementalLoad(job, hTable); 
    return job; 
} 

यह HiveToHBaseMapper वर्ग से मेरी नक्शा समारोह (कुछ संपादित) है में डेटा डाल करने के लिए लिखा है।

public void map(WritableComparable key, Writable val, Context context) 
     throws IOException, InterruptedException { 
    try{ 
     Configuration config = context.getConfiguration(); 
     String[] strs = val.toString().split(Constants.HIVE_RECORD_COLUMN_SEPARATOR); 
     String family = config.get(Constants.CUBEBUILDER_CONFIGURATION_FAMILY); 
     String column = strs[COLUMN_INDEX]; 
     String Value = strs[VALUE_INDEX]; 
     String sKey = generateKey(strs, config); 
     byte[] bKey = Bytes.toBytes(sKey); 
     Put put = new Put(bKey); 
     put.add(Bytes.toBytes(family), Bytes.toBytes(column), (value <= 0) 
         ? Bytes.toBytes(Double.MIN_VALUE) 
         : Bytes.toBytes(value)); 

     ImmutableBytesWritable ibKey = new ImmutableBytesWritable(bKey); 
     context.write(ibKey, put); 

     context.getCounter(CubeBuilderContextCounters.CompletedMapExecutions).increment(1); 
    } 
    catch(Exception e){ 
     context.getCounter(CubeBuilderContextCounters.FailedMapExecutions).increment(1);  
    } 

} 

मैं यकीन है कि यह आपके लिए एक कॉपी & पेस्ट समाधान होने के लिए नहीं जा रहा है। स्पष्ट रूप से जिस डेटा के साथ मैं काम कर रहा था उसे किसी भी कस्टम प्रसंस्करण की आवश्यकता नहीं थी (जो इस से पहले एमआर नौकरी में किया गया था)। मुख्य बात यह है कि मैं इसे प्रदान करना चाहता हूं HFileOutputFormat है। बाकी सिर्फ एक उदाहरण है कि मैंने इसका इस्तेमाल कैसे किया। :)
मुझे आशा है कि यह आपको एक अच्छे समाधान के ठोस रास्ते पर ले जाएगा। :

Answer 2

एक दिलचस्प बात यह है कि 1,000,000 पंक्तियों के सम्मिलन के दौरान, 25 मैपर (कार्य) उत्पन्न होते हैं लेकिन वे क्रमशः (एक के बाद एक) चलाते हैं; क्या यह सामान्य है?

mapreduce.tasktracker.map.tasks.maximum पैरामीटर जो 2 से चूक जाता है कार्य है कि एक नोड पर समानांतर में चला सकते हैं की अधिकतम संख्या निर्धारित करता है। जब तक बदला नहीं जाता है, तो आपको प्रत्येक नोड पर एक साथ चलने वाले 2 मानचित्र कार्य देखना चाहिए।