2012-03-15 13 views
5

परिदृश्य 1:पुनर्प्राप्त Hadoop NameNode विफलता

HDFS fsimage और editlog एक एनएफएस माउंट सहित कई स्थानों में लिखा है।

ए) NameNode Daemon क्रैश: समाधान: जहां नाम नोड चल रहा है बस को पुनः आरंभ Namenode प्रक्रिया

बी) होस्ट नीचे है।

समाधान:

  1. एक खाली dfs.name.dir
  2. प्वाइंट एनएफएस के dfs.name.dir माउंट जहां हम मेटा डेटा की प्रतिलिपि के साथ एक अलग मेजबान में namenode शुरू करो। या
  3. उपयोग --importCheckpoint विकल्प fs.checkpoint.dir ओर इशारा करते हुए के बाद namenode शुरू करने माध्यमिक NameNode
  4. बदलें बैकअप होस्ट नाम यूआरआई को fs.default.name से निर्देशिका जांच की चौकी और सभी दास के साथ क्लस्टर पुनः आरंभ करने की है, जबकि आईपी ​​गुलामों की फाइल में है।

नोट - हम अंतिम चेकपॉइंट के बाद हो सकता है कि संपादन को याद कर सकते हैं।

परिदृश्य 2:

HDFS fsimage एकल निर्देशिका में लिखा है।

ए) NameNode Daemon क्रैश: समाधान: जहां नाम नोड चल रहा है अज्ञात

बी) होस्ट नीचे है।

समाधान:

  1. एक खाली निर्देशिका में निर्देशिका में dfs.name.dir की ओर इशारा करते बनाएं (1)
  2. प्रारंभ -importCheckpoint साथ Namenode fs.checkpoint.dir ओर इशारा करते हुए माध्यमिक से निर्देशिका जांच की चौकी के बाद NameNode
  3. बैकअप होस्ट नाम यूआरआई में fs.default.name बदलें और क्लॉस्टर फ़ाइल में सभी दास आईपी के साथ क्लस्टर को पुनरारंभ करें।

इस तरह हम अंतिम चेकपॉइंट के बाद संपादित फ़ाइलों को फिर से याद करेंगे।

कृपया मुझे बताएं कि अगर हम क्लस्टर को मैन्युअल रूप से पुनर्प्राप्त कर सकते हैं।

+0

क्या आप अपनी पोस्ट को उचित प्रश्न शामिल करने के लिए संपादित कर सकते हैं? मुझे यकीन नहीं है कि आप क्या पूछ रहे हैं। अगर आपके पास कुछ लॉग फ़ाइल स्निपेट पोस्ट करना उपयोगी होता है तो यह भी उपयोगी होगा। इससे मुझे आपके मुद्दों का निदान करने में मदद मिलेगी। धन्यवाद –

+0

मैं कुछ उत्पादन परिदृश्य दे रहा हूं। परिदृश्य 1 और परिदृश्य 2 के मामले में क्या करना है। नामनोड – Jagaran

+0

की विभिन्न पुनर्प्राप्ति तकनीकों को प्राप्त करने के लिए अब प्रश्न बदल गया है – Jagaran

उत्तर

1

उत्पादन में, आपको quorum of journalling nodes, या संपादित लॉग लेनदेन फ़ाइलों के लिए साझा HA-NFS storage के साथ HA मोड में नाम नोड्स चलाना चाहिए। यदि आप एचए नहीं चाहते हैं या एचए का उपयोग नहीं करते हैं, तो आपको एनएन को दोनों छवियों के लिए कम से कम दो स्टोरेज निर्देशिकाओं के साथ चलाने और लॉग संपादित करने की आवश्यकता है, विशेष रूप से नाम-प्रणाली के स्वचालित ऑफ़-मशीन दृढ़ता के लिए मुलायम घुड़सवार एनएफएस माउंट पॉइंट के रूप में ।

यदि आपके पास केवल एक स्टोरेज निर्देशिका है और कोई HA कॉन्फ़िगरेशन नहीं है, तो सबसे अच्छा आप प्राप्त कर सकते हैं एक पिछली अवधि चेकपॉइंट - यदि आप सभी फाइलें खो देते हैं। यदि आपने फ़ाइलों को खोना नहीं है, तो आप छवि को कुछ (या सभी) संपादन पुनर्प्राप्त करने में सक्षम होने के लिए post द्वारा सचित्र hadoop namenode -recover विकल्प आज़मा सकते हैं।

+0

विफलता नामनोड पर हडूप नामनोड-रिकवर विकल्प करने में जोखिम क्या है। –

+0

जोखिम उन परिवर्तनों को खो रहा है जिन्हें आप रिकवरी मोड से बचने के लिए कहते हैं। एक्सेस समय अपडेट जैसे संशोधनों को विशेषता देने के लिए ये फ़ाइल या निर्देशिका रचनाओं से कुछ भी हो सकते हैं। –