Node.js

Question

का उपयोग कर Redshift में डेटा लोड करें node.js का उपयोग कर अमेज़ॅन रेडशिफ्ट में डेटा डालने के कुछ तरीके क्या हैं?

यह बहुत सरल होना चाहिए, लेकिन मैं कुशल लोडिंग के लिए कोई ठोस उदाहरण नहीं ढूंढ पाया।

Answer 1

कर कि AWS node.js SDK का उपयोग कर S3 में डेटा लोड करने के लिए किया जाएगा का एक तरीका यह (वहाँ दस्तावेज में एक example), तो Redshift में node-pgCOPY करने के लिए डेटा का उपयोग करें:

var pg = require('pg'); 

var conString = "postgres://user:password@db-endpoint:port/schema"; 

var client = new pg.Client(conString); 
    client.connect(function(err) { 
     if(err) { 
     return console.error('could not connect to postgres', err); 
     } 

     //assuming credentials are exported as enviornment variables, 
     //both CLI- and S3cmd-style are supported here. 
     //Also, you may want to specify the file's format (e.g. CSV), 
     //max errors, etc. 
     var copyCmd = 'copy my_redshift_table from \'s3://your_bucket/your_file\' credentials \'aws_access_key_id=' 
     + (process.env.AWS_ACCESS_KEY || process.env.AWS_ACCESS_KEY_ID) 
     + ';aws_secret_access_key=' 
     + (process.env.AWS_SECRET_KEY || process.env.AWS_SECRET_ACCESS_KEY) 
     + '\''; 

     client.query(copyCmd, function(err, result) { 
     if(err) { 
      return console.error('error running query', err); 
     } 
     logger.info("redhshift load: no errors, seem to be successful!"); 
     client.end(); 
     }); 
    }); 

ध्यान दें कि आप डॉन ' इसे चलाने के लिए किसी विशेष ड्राइवर की आवश्यकता नहीं है।