क्या मैपर्स डेटानोड की रैम पर इंटरमीडिएट आउटपुट स्टोर करते हैं जिस पर यह चल रहा है?

Question

क्या मेरी समझ सही है कि जॉब ट्रैकर ने डेटनोड पर कार्य (मैपर/रेड्यूसर) लॉन्च किया है जहां इनपुटस्प्लिट संग्रहीत किया जाता है और उस कार्य को डेटा के उस टुकड़े पर चलाता है और मैपर स्टोर अपने स्थानीय स्टोरेज में इंटरमीडिएट आउटपुट करता है?

तो मेरा सवाल यह है कि: मैपर डैटनोड पर चल रहा है, इसलिए यह डाटानोड की रैम पर इसका इंटरमीडिएट डेटा संग्रहीत करता है? और जैसा कि डाटानोड डिस्क एक एचडीएफएस का हिस्सा है और इंटरमीडिएट आउटपुट एचडीएफएस पर संग्रहीत नहीं है ..

Answer 1

मैपर (इंटरमीडिएट डेटा) का आउटपुट प्रत्येक व्यक्तिगत मैपर डेटा नोड्स के स्थानीय फ़ाइल सिस्टम (एचडीएफएस) पर संग्रहीत नहीं होता है । यह आमतौर पर एक अस्थायी निर्देशिका है जिसे हडोप व्यवस्थापक द्वारा कॉन्फ़िगर किया जा सकता है। एक बार मैपर नौकरी पूरी हो गई या डेटा को रेड्यूसर में स्थानांतरित कर दिया गया, तो इन मध्यवर्ती डेटा को साफ़ किया गया और अब और अधिक सुलभ नहीं है।

Answer 2

नक्शा कार्य प्रारंभ में अपने आउटपुट को डेटाानोड के बफर में संग्रहीत करते हैं।

एक बार जब बफर अपनी क्षमता का 80% तक भर जाता है, तो यह डेटानोड की डिस्क (एचडीएफएस नहीं) पर लिखना शुरू कर देता है। इस डिस्क स्थान को मैप्रेड-साइट.एक्सएमएल में हडोप 2.0 में संपत्ति नाम के तहत देखा जा सकता है-

mapreduce.cluster.local.dir