2016-09-14 21 views
9

मैं स्पार्क मेमोरी मैनेजमेंट पर presentation में से एक के माध्यम से जा रहा था और मेमोरी त्रुटियों को बेहतर ढंग से समझने के लिए निष्पादक मेमोरी उपयोग (प्रस्तुति में जो कुछ भी बताया गया था) की अच्छी ग्राफिकल तस्वीर कैसे प्राप्त करना है, जानना चाहता था। साथ ही, स्पार्क निष्पादकों में ऑफ-हेप मेमोरी उपयोग का विश्लेषण करने का सबसे अच्छा तरीका क्या है? समय के कार्य के रूप में ऑफ-हेप मेमोरी उपयोग की मात्रा कैसे प्राप्त करें?स्पार्क के मेमोरी उपयोग (YARN के साथ) के आलेखीय दृश्य के लिए क्या उपयोग करना है?

मैंने गैंग्लिया में देखा लेकिन यह नोड स्तर मीट्रिक देता है। मुझे नोड स्तर मीट्रिक का उपयोग कर निष्पादक स्तर स्मृति उपयोग को समझना मुश्किल हो गया।

उत्तर

3

मैं एक समान उपकरण के बारे में सोच रहा हूं!

मुझे लगता है कि org.apache.spark.scheduler.SparkListeneronExecutorMetricsUpdate के साथ अपाचे स्पार्क में सभी निम्न-स्तरीय मीट्रिक का इंटरफ़ेस है जो उच्च स्तरीय निगरानी उपकरण विकसित करते समय देखने के लिए विधि है।

आप जेएमएक्स इंटरफेस का उपयोग कर जेवीएम की निगरानी भी कर सकते हैं, लेकिन यह बहुत कम स्तर और निश्चित रूप से प्रासंगिक जानकारी के बिना स्पार्क संसाधनों का उपयोग कैसे करता है।

संबंधित मुद्दे