मैं कैसे एन्क्रिप्टेड distcp hdfs से s3 चलाने के लिए चलाने के लिए?

Question

मुझे अपने हैडूप क्लस्टर (आधार पर) से डेटा को कॉपी करना पसंद है। मैं इसे अनएन्क्रिप्टेड कर सकता हूं। मैं क्लाइंट साइड एन्क्रिप्शन के साथ एस 3 सीएमडी भी चला सकता हूं। मैं क्लाइंट साइड एन्क्रिप्शन के साथ distcp कैसे करूँ?

Answer 1

हाल के हैडोप संस्करणों को क्लाइंट साइड एन्क्रिप्शन का उपयोग करके स्थानांतरण करना चाहिए ठीक है।

सुरक्षित होने के लिए और अपने सेटअप के विनिर्देशों के शिकार न होने के कारण, मैं बस नीचे की तरह एक बाल्टी नीति डालकर सुरक्षित हस्तांतरण सुनिश्चित करता हूं, गैर-सुरक्षित हस्तांतरण को रोकता हूं।

{ 
    "Statement":[ 
     { 
      "Action": "s3:*", 
      "Effect":"Deny", 
      "Principal": "*", 
      "Resource":"arn:aws:s3:::bucketname/*", 
      "Condition":{ 
       "Bool": 
       { "aws:SecureTransport": false } 
      } 
     } 
    ] 
}