मैं यह देखने के लिए अपने आवेदन को प्रोफाइल करने का प्रयास कर रहा हूं कि मैं this blogpost पुन: उत्पन्न कर सकता हूं या नहीं। मैंने जोड़ा- d mapred.task.profile = कमांड लाइन पर सच है और जो जॉब कॉन्फ़िगरेशन लिया गया है उसमें चेक किया गया है।हाडोप प्रोफाइल आउटपुट - कहां और क्या?
Hadoop: The Definitive Guide का कहना है कि प्रोफ़ाइल जानकारी यूनिक्स डीआईआर में दिखाई देगी, मैंने नौकरी से भाग लिया। जिस डीआईआर से मैंने शुरू किया है, उसके पास फ़ाइल try_201305011806_0042_m_000002_0.profile है, जो सही जॉब आईडी है लेकिन मैपर # 2 नहीं था (केवल 1 मैपर और यह असफल नहीं हुआ)। आउटपुट में केवल प्रोफाइल फ़ाइल में हेडर जानकारी है; कोई वास्तविक प्रोफाइलिंग जानकारी नहीं है।
हैडोप डॉक्स का कहना है कि आउटपुट उपयोगकर्ता लॉग निर्देशिका में होगा लेकिन मुझे कुछ भी नहीं मिला। यदि मैं मैपर के लिए कार्य लॉग में जाता हूं, तो वैध जानकारी के साथ "profile.out लॉग" के अंतर्गत प्रोफाइलिंग जानकारी होती है। मेरे एचडीएफएस आउटपुट डीआईआर में प्रोफाइलिंग जानकारी नहीं है। प्रोफाइलिंग आउटपुट कहीं एचडीएफएस में नहीं होना चाहिए?
इसके अलावा, यह केवल लॉग-इन आउटपुट को लॉग में देता है लेकिन प्रोफ़ाइल को देखने के लिए मुझे मिले सभी टूल बाइनरी एचप्रूफ प्रारूप मानते हैं। किसी भी विचार के लिए कि मैं बाइनरी प्रोफाइल कैसे प्राप्त कर सकता हूं या फिर एक पाठ-आधारित प्रोफाइल को एक hprof टूल में लोड कर सकता हूं?
साथ अधिलेखित नहीं कर रहे हैं तो आप इस का समाधान कर लिया जाँच? – AST
नहीं, इससे पहले कि हम इसे समझ सकें, हमें अन्य कारणों से हडोप क्लस्टर को बंद करना पड़ा। मैं सवाल बंद कर दूंगा लेकिन यह दूसरों के लिए उपयोगी हो सकता है। – Keith
जानकारी के लिए ठीक है धन्यवाद। – AST