जावा एपीआई का उपयोग करके हडोप में फ़ाइलों को स्थानांतरित करना?

Question

मैं जावा एपीआई का उपयोग कर एचडीएफएस में फ़ाइलों को स्थानांतरित करना चाहता हूं। मैं ऐसा करने का कोई तरीका नहीं समझ सकता। फ़ाइलसिस्टम क्लास केवल स्थानीय फाइल सिस्टम से और जाने की अनुमति देना चाहता है .. लेकिन मैं उन्हें एचडीएफएस में रखना चाहता हूं और उन्हें वहां ले जाना चाहता हूं।

क्या मुझे कुछ बुनियादी याद आ रही है? ऐसा करने का एकमात्र तरीका यह है कि इसे इनपुट स्ट्रीम से पढ़ना और उसे वापस लिखना है ... और फिर पुरानी प्रतिलिपि (यक) हटा दें।

धन्यवाद

Answer 1

उपयोग FileSystem.rename():

public abstract boolean rename(Path src, Path dst) throws IOException 

Renames Path src to Path dst . Can take place on local fs or remote DFS.

Parameters:
src - path to be renamed
dst - new path after rename
Returns:
true if rename is successful
Throws:
IOException - on failure

Answer 2

मुझे लगता है कि FileUtilts replaceFile भी उद्देश्य का समाधान होगा। http://hadoop.apache.org/common/docs/current/api/org/apache/hadoop/fs/FileUtil.html#replaceFile(java.io.File, java.io.File)

Answer 3

hdfsDirectory="hdfs://srcPath" 
val conf = new org.apache.hadoop.conf.Configuration() 
     val src:Path = new org.apache.hadoop.fs.Path(hdfsDirectory) 
     val fs = FileSystem.get(src.toUri,conf) 
     val srcPath: Path = new Path("hdfs://srcPath") 
     val srcFs =FileSystem.get(srcPath.toUri,conf) 
     val dstPath:Path =new Path("hdfs://targetPath/") 
     val dstFs =FileSystem.get(dstPath.toUri,conf) 
     val exists = fs.exists(new org.apache.hadoop.fs.Path(hdfsDirectory)) 
     val status:Array[FileStatus] = fs.listStatus(new Path(hdfsDirectory)) 
     if (status.length>0) { 
      status.foreach(x => { 
      println("My files: " + x.getPath) 
      FileUtil.copy(srcFs, x.getPath, dstFs, dstPath, true, conf) 
      println("Files moved !!" +x.getPath) 
      } 
     )} 
     else{ 
      println("No Files Found !!") 
     } 

Answer 4

java.nio। * दृष्टिकोण हमेशा HDFS पर कार्य न करें। तो निम्नलिखित समाधान मिल गया जो काम करता है।

एक निर्देशिका से ले जाएँ फ़ाइलें एक और org.apache.hadoop.fs.FileUtil.copy एपीआई का उपयोग कर

val fs = FileSystem.get(new Configuration()) 
     val conf = new org.apache.hadoop.conf.Configuration() 
     val srcFs = FileSystem.get(new org.apache.hadoop.conf.Configuration()) 
     val dstFs = FileSystem.get(new org.apache.hadoop.conf.Configuration()) 
     val dstPath = new org.apache.hadoop.fs.Path(DEST_FILE_DIR) 

     for (file <- fileList) { 
      // The 5th parameter indicates whether source should be deleted or not 
      FileUtil.copy(srcFs, file, dstFs, dstPath, true, conf)