s3: // से स्थानीय (hadoop) फ़ाइल सिस्टम

Question

से फ़ाइल की प्रतिलिपि करते समय त्रुटि प्राप्त करना मैं python का उपयोग कर s3 से hadoop फ़ाइल सिस्टम में फ़ाइलों की प्रतिलिपि बनाने का प्रयास कर रहा हूं। मुझे निम्न त्रुटि मिली:

cp: `foo/ds=2015-02-13/ip-d1b-request-2015-02-13_10-00_10-09.txt.gz': No such file or directory 

मैं हाल ही में नवीनतम हैडऑप संस्करण (2.4.0) माइग्रेट कर रहा हूं। संस्करण (0.20) में ठीक काम कर रहा है। मुझे यह त्रुटि 2.4.0 संस्करण में क्यों मिल रही है?

Hadoop संस्करण 0,20

hadoop@ip-10-76-38-167:~$ /home/hadoop/bin/hadoop fs -cp s3://test.com/foo/ds=2015-02-13/ip-d1b-request-2015-02-13_10-00_10-09.txt.gz /foo/ds=2015-02-13/ip-d1b-request-2015-02-13_10-00_10-09.txt.gz 

15/02/13 11:21:45 INFO s3native.NativeS3FileSystem: Opening 's3://test.com/foo/ds=2015-02-13/ip-d1b-request-2015-02-13_10-00_10-09.txt.gz' for reading 

Hadoop संस्करण में 2.4.0

[hadoop@ip-10-169-19-123 ~]$ /home/hadoop/bin/hadoop fs -cp s3://test.com/foo/ds=2015-02-13/ip-d1b-request-2015-02-13_10-00_10-09.txt.gz /foo/ds=2015-02-13/ip-d1b-request-2015-02-13_10-00_10-09.txt.gz 

15/02/13 11:21:37 INFO guice.EmrFSBaseModule: Consistency disabled, using com.amazon.ws.emr.hadoop.fs.s3n.S3NativeFileSystem as FileSystem implementation. 

15/02/13 11:21:38 INFO fs.EmrFileSystem: Using com.amazon.ws.emr.hadoop.fs.s3n.S3NativeFileSystem as filesystem implementation 

cp: `foo/ds=2015-02-13/ip-d1b-request-2015-02-13_10-00_10-09.txt.gz': No such file or directory 

Answer 1

मैं इस सवाल का जवाब अपने ही मिल गया।

Using `distcp` instead of `fs -cp`. 

यह आदेश काम करता है किसी भी मुद्दे के बिना।

Answer 2

आप इस तरह की कोशिश की जरूरत है। जोड़ें "

/home/hadoop/bin/hadoop fs -cp "s3://test.com/foo/ds=2015-02-13/ip-d1b-request-2015-02-13_10-00_10-09.txt.gz" "/foo/ds=2015-02-13/ip-d1b-request-2015-02-13_10-00_10-09.txt.gz"