लेखन केवल minReplication के बजाय 0 नोड्स (= 1)

Question

मैं, चल 3 डेटा नोड्स एक नौकरी मैं हो रही है त्रुटि नीचे दिए गए निम्न चलाते समय है,

java.io. को दोहराया जा सकता है IOException: फ़ाइल/उपयोगकर्ता/asshshar/olhcache/loaderMap9b663bd9 केवल minReplication (= 1) के बजाय 0 नोड्स में दोहराया जा सकता है। इस ऑपरेशन में 3 डेटानोड चल रहे हैं और 3 नोड्स को बाहर रखा गया है। org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget (BlockManager.java:1325) पर

यह त्रुटि मुख्य रूप से जब हमारे DataNode उदाहरणों अंतरिक्ष से बाहर भाग गए हैं या DataNodes नहीं चल रहे हैं, तो आता है। मैंने डेटा नोड्स को पुनरारंभ करने का प्रयास किया लेकिन फिर भी वही त्रुटि प्राप्त हुई।

dfsadmin- मेरे क्लस्टर नोड्स पर रिपोर्ट स्पष्ट रूप से दिखाता है कि बहुत सी जगह उपलब्ध है।

मुझे यकीन नहीं है कि यह क्यों खुश है।

Answer 1

1.Stop सभी Hadoop डेमॉन

for x in `cd /etc/init.d ; ls hadoop*` ; do sudo service $x stop ; done 

2.Remove /var/lib/hadoop-hdfs/cache/hdfs/dfs/name

Eg: devan@Devan-PC:~$ sudo rm -r /var/lib/hadoop-hdfs/cache/ 

3.Format से सभी फाइलों को Namenode

sudo -u hdfs hdfs namenode -format 

4.Start सभी Hadoop डेमॉन

for x in `cd /etc/init.d ; ls hadoop*` ; do sudo service $x start ; done 

Stop All Hadoop Service

Answer 2

जब ऐसा होता है क्या मैं आमतौर पर करते हैं कि मैं tmp/Hadoop-नाम/DFS/ निर्देशिका पर जाकर डेटा और नाम फ़ोल्डर (यह मानते हुए कि आप एक Linux वातावरण में चल रहे हैं) मैन्युअल रूप से हटाने के लिए है।

फिर bin/Hadoop namenode फोन करके DFS स्वरूपित -format (सुनिश्चित करें कि आप एक पूंजी वाई जब आपसे पूछा जाए कि क्या आप स्वरूपित करना चाहते हैं के साथ जवाब देने के बनाने, यदि आप से पूछा नहीं कर रहे हैं, तो फिर से रन फिर से आदेश)। jps:

फिर आप Hadoop बुला bin/start-all.sh

Answer 3

1. चेक अपने DataNode चल रहा है कि क्या द्वारा फिर से शुरू कर सकते हैं, आदेश का उपयोग करें।
2. यदि यह नहीं चल रहा है तो कुछ समय प्रतीक्षा करें और पुनः प्रयास करें।
3. यदि यह चला रहा है, तो मुझे लगता है कि आपको अपने डेटा नोड को फिर से प्रारूपित करना होगा।

Answer 4

मैं एक ही मुद्दा था, मैं डिस्क स्थान पर बहुत कम चल रहा था। डिस्क को मुक्त करने से इसे हल किया गया।

Answer 5

विंडोज 8 पर एक ही मुद्दे के लिए बहुत ही सरल फिक्स।1
मैंने विंडोज 8.1 ओएस और हाडोप 2.7.2 का उपयोग किया, इस मुद्दे को दूर करने के लिए निम्न चीज़ें क्या थीं।

1. जब मैंने hdfs namenode -format शुरू किया, मैंने देखा कि मेरी निर्देशिका में एक लॉक है। कृपया नीचे दिए गए आंकड़े देखें।
   
2. एक बार मैंने नीचे दिखाए गए पूर्ण फ़ोल्डर को हटा दिए, और फिर मैंने hdfs namenode -format किया।
   
3. दो कदम ऊपर प्रदर्शन करने के बाद, मैं सफलतापूर्वक HDFS प्रणाली में मेरी आवश्यक फ़ाइलें रख सकता है। मैंने प्रारंभ-all.cmd यार्न और नामनोड शुरू करने के लिए कमांड का उपयोग किया।

Answer 6

मैं इस समस्या थी और मैं इसे के रूप में bellow हल:

1. जहाँ आपके datanode और namenode मेटाडाटा/डेटा सहेजा जाता है का पता लगाएं, यदि आप इसे नहीं ढूंढ पा रहे हैं, तो बस इसे खोजने के लिए मैक पर यह आदेश करें ("tmp" नामक फ़ोल्डर में स्थित हैं)

   ढूंढें/usr/local/cellar/-name "tmp";

   खोजने आदेश इस तरह है: < "निर्देशिका"> -name < लगता है "कि निर्देशिका या फ़ाइल के लिए कोई भी स्ट्रिंग सुराग">

2. इसे में उस फ़ाइल, सीडी खोजने के बाद। dfs को /usr/स्थानीय/सेलर // Hadoop/HDFS/tmp

   तो सीडी

   तो -LS आदेश का उपयोग कर देखते हैं कि डेटा और नाम निर्देशिका वहाँ स्थित हैं।

3. का उपयोग करते हुए आदेश निकालने के लिए, उन दोनों को हटा दें:

   rm आर डेटा। और rm आर नाम

4. बिन फ़ोल्डर में जाओ और सब कुछ खत्म हो अगर आप पहले से ही नहीं यह किया है:

   sbin/end-dfs.sh

5. सर्वर या स्थानीय होस्ट से बाहर निकलें । फिर से सर्वर में

6. प्रवेश करें: ssh < "सर्वर का नाम">

7. DFS शुरू:

   sbin/शुरू DFS।श

8. स्वरूप यकीन है कि होने के लिए namenode:

   bin/HDFS namenode -format

9. आप अब HDFS उपयोग कर सकते हैं DFS में अपने डाटा अपलोड और MapReduce नौकरियों को चलाने के लिए आदेश देता है।