MapReduce प्रदर्शन को कैसे समझें काउंटरों

Question

अधिक विशिष्ट होना करने के लिए:

1. कार्य काउंटरों में, सीपीयू खर्च तो इसका मतलब IOWait तरह बातें नहीं गिना जाएगा, प्रोक/स्टेट के utime + STIME से है। क्या वह सही है?
2. पूरे कार्य के लिए समाप्त समय सीपीयू समय बिताए गए काउंटर से बहुत लंबा है, क्या इसका मतलब यह है कि नोड बहुत व्यस्त है और कंटेनर सीपीयू नहीं ढूंढ रहा है या बहुत लंबे समय तक आईओ की प्रतीक्षा कर रहा है?
3. मैं कैसे बता सकता हूं कि कोई कार्य सीपीयू बाध्य है या आईओ सिर्फ काउंटर से गिना जाता है? कुल समय सीपीयू पर सभी कार्य द्वारा खर्च -

Answer 1

'CPU_MILLISECONDS' काउंटर आप के बारे में जानकारी दे सकते हैं।

'REDUCE_SHUFFLE_BYTES' उच्च संख्या, एन/डब्ल्यू उपयोग अधिक है। (इस तरह से बहुत अधिक विकल्प उपलब्ध हैं)

हडोप में काउंटरों की 4 श्रेणियां हैं: फ़ाइल सिस्टम, नौकरी, ढांचे और कस्टम।

आप मान्य करने के लिए है कि बिल्ट-इन काउंटर का उपयोग कर सकते हैं:

1.The correct number of bytes was read and written 
2.The correct number of tasks was launched and successfully ran 
3.The amount of CPU and memory consumed is appropriate for your job and cluster nodes 
4.The correct number of records was read and written 

अधिक जानकारी avalible @https://www.mapr.com/blog/managing-monitoring-and-testing-mapreduce-jobs-how-work-counters#.VZy9IF_vPZ4 (** credits- mapr.com)