"जीसी ओवरहेड सीमा पार हो गई" हैडोप .20 डेटानोड

Question

मैंने जीसी ओवरहेड सीमा पार होने के कारण मरने वाले हडोप डाटानोड प्रक्रियाओं से संबंधित अधिक जानकारी खोजी है और नहीं, इसलिए मैंने सोचा कि मैं एक प्रश्न पोस्ट करूंगा।

हम एक परीक्षण चला रहे हैं जहां हमें यह पुष्टि करने की आवश्यकता है कि हमारे हैडोप क्लस्टर पर ~ 3 मिलियन फ़ाइलों को संग्रहीत किया जा सकता है (वर्तमान में एक 4 नोड क्लस्टर)। हम 64 बिट जेवीएम का उपयोग कर रहे हैं और हमने नामनोड को 8 जी आवंटित किया है। हालांकि, जैसा कि मेरा टेस्ट प्रोग्राम डीएफएस को और फाइलें लिखता है, डेटनोड इस त्रुटि से मरना शुरू कर देते हैं: थ्रेड में अपवाद "डेटा नोड: [/ var/hadoop/data/hadoop/data]" java.lang.OutOfMemoryError: जीसी ओवरहेड सीमा

मैंने कुछ विकल्पों (समांतर जीसी?) के बारे में कुछ पोस्ट देखी हैं, मुझे लगता है कि हैडूप-env.sh में सेट किया जा सकता है लेकिन मुझे वाक्यविन्यास का भी यकीन नहीं है और मैं एक नौसिखिया हूं, इसलिए मैं काफी नहीं किया कि यह कैसे किया जाता है। यहां किसी भी मदद के लिए धन्यवाद!

Answer 1

इस का उपयोग करके datanode के लिए स्मृति को बढ़ाने के लिए प्रयास करें।

आप इसे $HADOOP_CONF_DIR/hadoop-env.sh फ़ाइल में शुरुआत में भी पेस्ट कर सकते हैं।

Answer 2

जीसी ओवरहेड सीमा इंगित करती है कि आपका (छोटा) ढेर भरा हुआ है।

यह अक्सर होता है जब आप बहुत सारे डेटा को संसाधित करते हैं तो मैपरेडस ऑपरेशंस में अक्सर होता है। इस प्रयास करें:

< संपत्ति>

< नाम> mapred.child.java.opts </name>

< मूल्य> -Xmx1024m -XX: -UseGCOverheadLimit </मूल्य>

</संपत्ति>

इसके अलावा, इन निम्न चीजों को आजमाएं:

उपयोग समेलक, reducers भी सूची नक्शे

उसी समय की संख्या के एक छोटे से अधिक से अधिक का नहीं मिलना चाहिए, तो आप OOME से हीप डंप पैदा करते हैं और YourKit साथ विश्लेषण कर सकते हैं, आदि ए डी एन यह

का विश्लेषण यह 10GB करने के लिए ... आप अपने जरूरत के अनुसार बढ़ा सकते हैं ढेर सेट हो जाएगा (Hadoop काम करने के लिए इस के लिए आवश्यक पुनः आरंभ)

export HADOOP_DATANODE_OPTS="-Xmx10g" 

:

Answer 3

यदि आप नक्शा चला रहे हैं तो कमांड लाइन से नौकरी कम करें, तो आप -D 'mapreduce.map.java.opts=-Xmx1024m' और/या -D 'mapreduce.reduce.java.opts = -Xmx1024m' पैरामीटर का उपयोग करके ढेर बढ़ा सकते हैं। उदाहरण:

hadoop --config /etc/hadoop/conf jar /usr/lib/hbase-solr/tools/hbase-indexer-mr-*-job.jar --conf /etc/hbase/conf/hbase-site.xml -D 'mapreduce.map.java.opts=-Xmx1024m' --hbase-indexer-file $HOME/morphline-hbase-mapper.xml --zk-host 127.0.0.1/solr --collection hbase-collection1 --go-live --log4j /home/cloudera/morphlines/log4j.properties 

ध्यान दें कि कुछ क्लाउडेरा दस्तावेज में, वे अभी भी पुराने मानकों mapred.child.java.opts, mapred.map.child.java.opts और mapred.reduce.child.java.opts का उपयोग करें। ये पैरामीटर अब हडोप 2 के लिए काम नहीं करते हैं (What is the relation between 'mapreduce.map.memory.mb' and 'mapred.map.child.java.opts' in Apache Hadoop YARN? देखें)।

Answer 4

यह मेरे लिए हल हल मुद्दा।"- Xmx10g" Hadoop जार "your.jar" "source.dir" Hadoop streaming "GC overhead limit exceeded"

तो, कुंजी "प्रारंभ में लगा है कि वातावरण चर" के लिए (1 बार इस linux कमांड वाक्य रचना देखा :))

HADOOP_CLIENT_OPTS = है "target.dir"