हडोप

Question

में एचडीएफएस में एक फ़ाइल को लिखना मैं हाडोप में आई/ओ गतिविधि का परीक्षण करने के लिए एक डिस्क गहन हडोप एप्लिकेशन की तलाश में था, लेकिन मुझे ऐसा कोई एप्लिकेशन नहीं मिला जो ऊपर डिस्क उपयोग को ऊपर रखता है, 50% या कुछ कहता है ऐसा एप्लिकेशन जो वास्तव में डिस्क व्यस्त रहता है। मैंने यादृच्छिक लेखक की कोशिश की, लेकिन आश्चर्य की बात यह है कि डिस्क I/o गहन नहीं है।

तो, मैंने मैपर में एक फ़ाइल बनाने और इसमें कुछ टेक्स्ट लिखने के लिए एक छोटा प्रोग्राम लिखा था। यह एप्लिकेशन अच्छी तरह से काम करता है, लेकिन उपयोग केवल मास्टर नोड में उच्च है जो नाम नोड, नौकरी ट्रैकर और दासों में से एक है। डिस्क उपयोग अन्य कार्य ट्रैकर्स में शून्य या नगण्य है। मैं समझने में असमर्थ हूं कि डिस्क ट्रैकर्स में डिस्क I/O इतनी कम क्यों है। अगर कोई मुझे कुछ गलत कर रहा है तो क्या कोई मुझे सही दिशा में घुमा सकता है? अग्रिम में धन्यवाद।

यहाँ मेरी नमूना कोड खंड है कि मैं एक फ़ाइल

Configuration conf = new Configuration(); 
FileSystem fs = FileSystem.get(conf); 
Path outFile; 
while (itr.hasMoreTokens()) { 
    word.set(itr.nextToken()); 
    context.write(word, one); 
    outFile = new Path("./dummy"+ context.getTaskAttemptID()); 
    FSDataOutputStream out = fs.create(outFile); 

    out.writeUTF("helloworld"); 
    out.close(); 
    fs.delete(outFile); 
    } 

Answer 1

ठीक से एक कॉल में डेटा के बड़े हिस्से लिखें। मैं पहले जांच नहीं करने के लिए वास्तव में बेवकूफ होना चाहिए। वास्तविक समस्या यह थी कि मेरे सभी डेटा नोड वास्तव में नहीं चल रहे थे। मैंने नामनोड को दोबारा सुधार दिया और सबकुछ वापस आ गया, मुझे 15-20% का उपयोग मिल रहा था जो डब्ल्यूसी के लिए बुरा नहीं है। मैं इसे टेस्ट डीएफएसआईओ के लिए चलाऊंगा और देख सकता हूं कि क्या मैं डिस्क का और भी उपयोग कर सकता हूं।

Answer 2

मुझे लगता है कि में WordCount.java फ़ाइल में लिखा था बना सकते हैं और UTF स्ट्रिंग लिखने के लिए है कि किसी भी व्यवस्था है जिसके प्रत्येक पंक्ति में सेल प्रति जावा वस्तुओं बनाता है, और डिस्क पर सहेजने से पहले जावा ऑब्जेक्ट्स के किसी भी कर क्रमबद्धता को चलाने के लिए आईओ का उपयोग करने का थोड़ा मौका नहीं है।
मेरे अनुभव में क्रमशः कई एमबी प्रति सेकंड या कुछ और की गति में काम कर रहा है, लेकिन प्रति सेकंड 100 एमबी नहीं है।
तो आउटपुट पथ पर हडूप परतों से बचने के लिए आपने काफी सही किया है। अब मान लें कि एचडीएफएस कैसे काम करता है। डेटा स्थानीय डिस्कनोड के माध्यम से स्थानीय डिस्क पर लिखा जाता है, और उसके बाद नेटवर्क में अन्य नोड्स के साथ सिंक्रनाइज़ किया जाता है, जो आपके प्रतिकृति कारक के आधार पर होता है। इस मामले में आप एचडीएफएस में अपने डेटा बैंडविड्थ में अधिक डेटा नहीं लिख सकते हैं। यदि आपका क्लस्टर अपेक्षाकृत छोटी चीजें लायक है। 3 नोड क्लस्टर और ट्रिपल प्रतिकृति के लिए आप सभी नोड्स पर सभी डेटा पथित करेंगे ताकि पूरे क्लस्टर एचडीएफएस लिखने बैंडविड्थ लगभग 1 जीबीआईटी हो - यदि आपके पास ऐसा नेटवर्क है।
तो, मैं सुझाव दूंगा:
ए) प्रतिकृति कारक को 1 तक घटाएं, इस प्रकार नेटवर्क द्वारा बाध्य होना बंद करें।
बी) मैपर