HDFS - उपयोगकर्ता

Question

निर्दिष्ट मैं खुशी से HDFS से कनेक्ट कर रहा हूँ और मेरे घर निर्देशिका लिस्टिंग:

Configuration conf = new Configuration(); 
conf.set("fs.defaultFS", "hdfs://hadoop:8020"); 
conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem"); 
FileSystem fs = FileSystem.get(conf); 
RemoteIterator<LocatedFileStatus> ri = fs.listFiles(fs.getHomeDirectory(), false); 
while (ri.hasNext()) { 
    LocatedFileStatus lfs = ri.next(); 
    log.debug(lfs.getPath().toString()); 
} 
fs.close(); 

क्या मैं हालांकि किसी विशिष्ट उपयोगकर्ता (नहीं whois उपयोगकर्ता के रूप में कनेक्ट कर रहा है अब करना चाहते कर रहा हूँ)। क्या कोई जानता है कि आप किस उपयोगकर्ता को कनेक्ट करते हैं उसे निर्दिष्ट करते हैं?

Answer 1

जैसे ही मुझे लगता है कि यह UserGroupInformation कक्षा और PrivilegedAction या PrivilegedExceptionAction के माध्यम से किया जाता है। रिमोट एचडीएफएस 'जैसे' अलग उपयोगकर्ता ('इस मामले में' hbase ') से कनेक्ट करने के लिए नमूना कोड यहां दिया गया है। उम्मीद है कि यह आपके काम को हल करेगा। यदि आपको प्रमाणीकरण के साथ पूर्ण योजना की आवश्यकता है तो आपको उपयोगकर्ता हैंडलिंग में सुधार करने की आवश्यकता है। लेकिन सरल प्रमाणीकरण योजना (वास्तव में कोई प्रमाणीकरण नहीं) के लिए यह ठीक काम करता है।

package org.myorg; 

import java.security.PrivilegedExceptionAction; 

import org.apache.hadoop.conf.*; 
import org.apache.hadoop.security.UserGroupInformation; 
import org.apache.hadoop.fs.Path; 
import org.apache.hadoop.fs.FileSystem; 
import org.apache.hadoop.fs.FileStatus; 

public class HdfsTest { 

    public static void main(String args[]) { 

     try { 
      UserGroupInformation ugi 
       = UserGroupInformation.createRemoteUser("hbase"); 

      ugi.doAs(new PrivilegedExceptionAction<Void>() { 

       public Void run() throws Exception { 

        Configuration conf = new Configuration(); 
        conf.set("fs.defaultFS", "hdfs://1.2.3.4:8020/user/hbase"); 
        conf.set("hadoop.job.ugi", "hbase"); 

        FileSystem fs = FileSystem.get(conf); 

        fs.createNewFile(new Path("/user/hbase/test")); 

        FileStatus[] status = fs.listStatus(new Path("/user/hbase")); 
        for(int i=0;i<status.length;i++){ 
         System.out.println(status[i].getPath()); 
        } 
        return null; 
       } 
      }); 
     } catch (Exception e) { 
      e.printStackTrace(); 
     } 
    } 
} 

Answer 2

यदि मैं आपको सही समझता हूं, तो आप जो चाहते हैं उसे उपयोगकर्ता की होम निर्देशिका प्राप्त करना है और जोइस उपयोगकर्ता नहीं है।

आपके कॉन्फ़िगरेशन फ़ाइल में, अपनी होमडिर संपत्ति को उपयोगकर्ता/$ {user.name} पर सेट करें। सुनिश्चित करें कि आपके पास user.name

नामक सिस्टम सिस्टम है, यह मेरे मामले में काम करता है।

मुझे उम्मीद है कि आप यही करना चाहते हैं, अगर कोई टिप्पणी न जोड़ें।