मैं एक नोड क्लस्टर के साथ डिफ़ॉल्ट विन्यास के साथ Hadoop चला रहा हूँ, और जहां HDFS भंडार स्थानीय रूप से फ़ाइलें खोजने के लिए चाहते हैं।जहां एचडीएफएस डिफ़ॉल्ट रूप से फाइलों को स्थानीय रूप से स्टोर करता है?
कोई भी विचार?
धन्यवाद।
आप dfs.data.dir की स्थापना के लिए अपने HDFS-default.xml विन्यास फाइल में देखने की जरूरत है। डिफ़ॉल्ट सेटिंग है: $ {hadoop.tmp.dir}/DFS/डेटा और ध्यान दें कि $ {hadoop.tmp.dir} here वर्णित कोर-default.xml में वास्तव में है।
कॉन्फ़िगरेशन विकल्पों का वर्णन here है। इस सेटिंग के लिए वर्णन है:
निर्धारित करता है जहां स्थानीय फाइल सिस्टम पर एक डीएफएस डेटा नोड चाहिए दुकान अपने ब्लॉक। यदि यह निर्देशिकाओं की अल्पविराम-सीमित सूची, है तो डेटा सभी नाम निर्देशिकाओं में संग्रहीत किया जाएगा, आमतौर पर अलग-अलग डिवाइस पर। निर्देशिकाएं मौजूद नहीं हैं अनदेखा कर रहे हैं।
"और हाल ही में उत्तर" के रूप में और Hadoop संस्करण संख्याओं को स्पष्ट करने की: आप Hadoop 1.2.1 (या कुछ इसी तरह) का उपयोग करते हैं
, @Binary बेवकूफ का जवाब अभी भी सच है।
लेकिन अगर आप Hadoop 2.1.0 बीटा (या कुछ इसी तरह) का उपयोग करें, आप विन्यास प्रलेखन here और पढ़ना चाहिए विकल्प आप सेट करना चाहते है: dfs.datanode.data.dir
भागो इस cmd में शीघ्र,
bin/hadoop fs -ls
के रूप में प्रस्तुत किया, यह आदेश बस एक त्रुटि देता है। और आपने आदेश तय किया है, यह मूल प्रश्न का उत्तर नहीं देगा, -एलएस इस संबंध में मदद नहीं करेगा। – derekv
वर्तमान संस्करण (2.7.1) dir
/tmp/hadoop-${user.name}/dfs/data
dfs.datanode.data.dir, से hadoop.tmp.dir सेटिंग के आधार पर: http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-common/core-default.xml
आपका लिंक – mortonjt
टूट गया है इस लिंक टूटी हुई है :( –
'hadoop.tmp.dir' का डिफ़ॉल्ट मान क्या है? – chenzhongpu