2012-07-30 17 views
8

मैं हदूप के लिए बिल्कुल नया हूं और बस मुझे पूरा करने के लिए 2 दिन लग गए ... अब मैं hadoop dfs कमांड के साथ प्रयास कर रहा हूं, लेकिन मैं इसे समझ नहीं पाया, हालांकि मैं दिनों के लिए ब्राउज़ कर रहा हूं , मैं जो जवाब जानना चाहता हूं उसका उत्तर नहीं मिला। सभी उदाहरण दिखाते हैं कि इसकी वास्तविक संरचना को समझाए बिना परिणाम क्या होना चाहिए, इसलिए अगर कोई मुझे हैडॉप एचडीएफएस समझने में सहायता कर सकता है तो मुझे खुशी होगी।जब मैं hadoop fs-mkdir का उपयोग करता हूं तो मेरी फ़ाइलें (डीआईआर) कहां संग्रहीत होती हैं?

मैंने एचडीएफएस पर एक निर्देशिका बनाई है।

bin/hadoop fs -mkdir input 

ठीक है, मैं इसे ls कमांड के साथ जांचूंगा।

bin/hadoop fs -ls 
Found 1 items 
drwxr-xr-x - hadoop supergroup   0 2012-07-30 11:08 input 

ठीक है, कोई समस्या नहीं, सब कुछ सही लगता है .. लेकिन वास्तव में एचडीएफएस डेटा कहां संग्रहीत किया जाता है? मैंने सोचा था कि यह मेरी डेटानोड निर्देशिका (/ home/hadoop/डेटास्टोर) में स्टोर करेगा, जिसे coreoop.tmp.dir के अंतर्गत core-site.xml में परिभाषित किया गया था, लेकिन यह वहां नहीं है ..

फिर मैंने कोशिश की वेब-यूआई के माध्यम से देखने के लिए और मैंने पाया कि "इनपुट" "/ user/hadoop /" (/ user/hadoop/input) के अंतर्गत बनाया गया था।

मेरे सवाल कर रहे हैं

  • (1) क्या, datanode निर्देशिका (hadoop.tmp.dir) के लिए उपयोग किया जाता है के बाद से यह does not सब कुछ की दुकान मैं DFS आदेश के माध्यम से संसाधित?
  • (2) डीएफएस कमांड के साथ बनाई गई सब कुछ/उपयोगकर्ता/XXX/पर जाती है, इसके मूल्य को कैसे बदला जाए?
  • (3) जब मैं सामान्य लिनक्स कमांड (एलएस/उपयोगकर्ता/हडूप) के माध्यम से पहुंचने का प्रयास करता हूं तो मैं कुछ भी नहीं देख सकता। क्या/user/hadoop तार्किक रूप से मौजूद है?

मैं माफी अगर मेरे सवालों का मूर्ख हो रहा हूँ .. एक नौसिखिया Hadoop बेहतर ढंग से समझने के लिए संघर्ष कर ..

अग्रिम धन्यवाद।

उत्तर

11

एचडीएफ एक पॉज़िक्स फ़ाइल सिस्टम नहीं है और आपको इस फ़ाइल सिस्टम को पढ़ने और देखने के लिए हैडोप एपीआई का उपयोग करना होगा। यही कारण है कि आपको हैडऑप fs -ls करना है क्योंकि आप यहां फ़ाइलों को पढ़ने के लिए हैडऑप एपीआई का उपयोग कर रहे हैं। एचडीएफएस में डेटा ब्लॉक में संग्रहीत किया जाता है और सभी डेटानोड में संग्रहीत किया जाता है। इस फाइल सिस्टम के बारे में मेटाडेटा नामनोड पर संग्रहीत है। निर्देशिका में दिखाई देने वाली डेटा फाइलें "/ home/hadoop/डेटास्टोर" अलग-अलग डेटानोड पर संग्रहीत ब्लॉक हैं।

मुझे लगता है कि आपको अपने फ़ाइल सिस्टम के बारे में अधिक जानकारी प्राप्त करना चाहिए। Yahoo, YDN tutorial on hdfs

संबंधित मुद्दे

 संबंधित मुद्दे