एचडीएफएस

Question

में फ़ाइल पथ मैं हैडोप फ़ाइल सिस्टम से फ़ाइल को पढ़ना चाहता हूं।

फ़ाइल के सही पथ को प्राप्त करने के लिए, मुझे hdfs का होस्ट नाम और पोर्ट पता चाहिए।

तो अंत में फ़ाइल की मेरी पथ

Path path = new Path("hdfs://123.23.12.4344:9000/user/filename.txt") 

अब मैं चाहता हूँ कुछ इस तरह दिखाई होस्टनाम = "123.23.12.4344" & बंदरगाह को निकालने के लिए पता करने के लिए होगा: 9000?

असल में, मैं अमेज़ॅन ईएमआर पर फाइलसिस्टम का उपयोग करना चाहता हूं, लेकिन जब मैं

 FileSystem fs = FileSystem.get(getConf());

का उपयोग करता हूं तो मुझे

 
You possibly called FileSystem.get(conf) when you should have called FileSystem.get(uri, conf) to obtain a file system supporting your path 

मिलता है इसलिए मैंने यूआरआई का उपयोग करने का निर्णय लिया। (मुझे यूआरआई का उपयोग करना है) लेकिन मुझे यकीन नहीं है कि यूआरआई कैसे पहुंचे।

Answer 1

आप अपनी त्रुटि को हल करने के लिए दो तरीकों का उपयोग कर सकते हैं।

1.

String infile = "file.txt"; 
Path ofile = new Path(infile); 
FileSystem fs = ofile.getFileSystem(getConf()); 

2.

Configuration conf = getConf(); 
System.out.println("fs.default.name : - " + conf.get("fs.default.name")); 
// It prints uri as : hdfs://10.214.15.165:9000 or something 
String uri = conf.get("fs.default.name"); 
FileSystem fs = FileSystem.get(uri,getConf());