hadoop hdfs में/tmp निर्देशिका क्या है?

Question

मैं प्रत्येक नोड पर 4 datanodes और HDFS संरचना के क्लस्टर नीचे के रूप में

मैं डिस्क स्थान मुद्दे का सामना करना पड़ रहा, जैसा कि आप /tmp फ़ोल्डर HDFS से अधिक स्थान पर कब्जा कर लिया गया है देख सकते हैं (है 217GB)। तो मैंने /tmp फ़ोल्डर से डेटा की जांच करने की कोशिश की। मुझे निम्नलिखित अस्थायी फाइलें मिलीं। मैंने इन अस्थायी फ़ोल्डर्स का उपयोग किया जिनमें प्रत्येक में 10 जीबी से 20 जीबी आकार की कुछ भाग फ़ाइलें शामिल हैं। मैं इस/tmp निर्देशिका को साफ़ करना चाहता हूं। क्या कोई मुझे कृपया इन टीएमपी फ़ोल्डर्स या पार्ट फाइलों को हटाने के परिणामों को जान सकता है। क्या यह मेरे क्लस्टर को प्रभावित करेगा?

Answer 1

HDFS/tmp निर्देशिका मुख्य रूप से mapreduce आपरेशन के दौरान एक अस्थायी भंडारण के रूप में इस्तेमाल किया। मैप्रिडस कलाकृतियों, मध्यवर्ती डेटा इत्यादि को इस निर्देशिका के तहत रखा जाएगा। मैड्रिडस जॉब निष्पादन पूर्ण होने पर इन फ़ाइलों को स्वचालित रूप से साफ़ कर दिया जाएगा। यदि आप इस अस्थायी फ़ाइलों को हटाते हैं, तो यह वर्तमान में चल रहे मैप्रिडस नौकरियों को प्रभावित कर सकता है।

अस्थायी फ़ाइलें सुअर द्वारा बनाई गई हैं। अंत में अस्थायी फाइल हटाना होता है। यदि स्क्रिप्ट निष्पादन विफल या मारे गए तो सुअर अस्थायी फ़ाइलों को हटाने में संभाल नहीं करता है। फिर आपको इस स्थिति को संभालना होगा। आप इस अस्थायी फ़ाइलों को स्क्रिप्ट में स्वयं गतिविधि को बेहतर तरीके से संभालते हैं।

निम्न आलेख आप एक अच्छी समझ

http://www.lopakalogic.com/articles/hadoop-articles/pig-keeps-temp-files/