2014-04-29 5 views
6

मैं यह पता लगाने की कोशिश कर रहा हूं कि कितने मास्टर, कोर, TASK उदाहरण मेरी नौकरियों के लिए अनुकूल हैं। मुझे कोई ट्यूटोरियल नहीं मिला जो बताता है कि मैं इसे कैसे समझूं।हैडऑप इंस्टेंस प्रकारों के बीच सही भाग कैसे प्राप्त करें

  • मुझे कैसे पता चलेगा कि मुझे 1 से अधिक कोर इंस्टेंस की आवश्यकता है? मेट्रिक्स में ईएमआर के कंसोल में "लक्षण" क्या दिखाई देंगे जो संकेत देंगे कि मुझे एक से अधिक कोर की आवश्यकता है? अब तक जब मैंने 1 * कोर +7 * कार्य उदाहरणों के साथ एक ही नौकरी की कोशिश की तो यह 8 * कोर पर बहुत अधिक दौड़ गया, लेकिन यह मेरे लिए ज्यादा समझ में नहीं आता है। या क्या यह संभव है कि मेरा काम इतना सीपीयू बाध्य है कि आईओ इतना मामूली है? (मेरे पास एक नक्शा-केवल नौकरी है जो सीएसवी फ़ाइल में अपाचे लॉग फ़ाइलों को पार्स करती है)

  • क्या 1 से अधिक मास्टर इंस्टेंस होने की ऐसी कोई चीज़ है? यदि हां, तो इसकी आवश्यकता कब होती है? मुझे आश्चर्य है, क्योंकि मेरा मास्टर नोड बहुत अधिक नोड्स को 9 5% समय के लिए नौकरी (0% सीपीयू) करने का इंतजार कर रहा है।

  • क्या मास्टर और कोर नोड समान हो सकता है? मेरे पास केवल मास्टर ही क्लस्टर हो सकता है, जब 1 और केवल नोड सब कुछ करता है। ऐसा लगता है कि यह तर्कसंगत होगा कि क्लस्टर को 1 नोड के साथ मास्टर और कोर है, और शेष कार्य नोड्स हैं, लेकिन ऐसा लगता है कि इसे ईएमआर के साथ इस तरह स्थापित करना असंभव प्रतीत होता है। ऐसा क्यों है?

उत्तर

1

मास्टर इंस्टेंस मैनेजर के रूप में कार्य करता है और पूरे क्लस्टर में जो कुछ भी जाता है उसका समन्वय करता है। इस प्रकार, यह आपके द्वारा चलाए जाने वाले प्रत्येक नौकरी प्रवाह में मौजूद होना चाहिए, लेकिन केवल एक उदाहरण है जो आपको चाहिए। जब तक कि आप एकल-नोड क्लस्टर को तैनात नहीं कर रहे हैं (जिस स्थिति में मास्टर इंस्टेंस एकमात्र नोड चल रहा है), यह वास्तविक मैप्रिडिंग के संबंध में कोई भारी भारोत्तोलन नहीं करता है, इसलिए उदाहरण को एक शक्तिशाली मशीन नहीं होना चाहिए।

आपको आवश्यक मूल उदाहरणों की संख्या वास्तव में नौकरी पर निर्भर करती है और आप इसे कितनी तेजी से संसाधित करना चाहते हैं, इसलिए कोई भी सही उत्तर नहीं है। एक अच्छी बात यह है कि आप कोर/टास्क इंस्टेंस समूह का आकार बदल सकते हैं, इसलिए यदि आपको लगता है कि आपका काम धीमा चल रहा है, तो आप चल रहे प्रक्रिया में और उदाहरण जोड़ सकते हैं।

कोर और कार्य उदाहरण समूहों के बीच एक महत्वपूर्ण अंतर यह है कि कोर इंस्टेंस एचडीएफएस पर वास्तविक डेटा स्टोर करते हैं जबकि कार्य के उदाहरण नहीं होते हैं। बदले में, आप केवल मूल उदाहरण समूह को बढ़ा सकते हैं (क्योंकि चल रहे उदाहरणों को हटाने से उन मामलों पर डेटा खो जाएगा)। दूसरी ओर, आप कार्य उदाहरणों को जोड़कर या हटाकर कार्य उदाहरण समूह को बढ़ा और घटा सकते हैं।

तो इन दो प्रकार के उदाहरणों का उपयोग आपके काम की प्रसंस्करण शक्ति को समायोजित करने के लिए किया जा सकता है। आम तौर पर, आप मूल उदाहरणों के लिए ऑनमांड उदाहरणों का उपयोग करते हैं क्योंकि उन्हें हर समय चलना चाहिए और खोया नहीं जा सकता है, और आप कार्य उदाहरणों के लिए स्पॉट इंस्टेंस का उपयोग करते हैं क्योंकि कार्य के उदाहरण खोने से पूरे काम को नहीं मारता है (उदाहरण के लिए, कार्य उदाहरणों से कार्य नहीं कोर उदाहरणों पर फिर से शुरू किया जाएगा)। स्पॉट उदाहरणों का उपयोग करके बड़े क्लस्टर लागत प्रभावी ढंग से चलाने का यह एक तरीका है।

प्रत्येक उदाहरण प्रकार का सामान्य विवरण यहाँ उपलब्ध है:

http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/InstanceGroups.html

इसके अलावा, इस वीडियो को ईएमआर प्रभावी ढंग से उपयोग करने के लिए उपयोगी हो सकता है:

https://www.youtube.com/watch?v=a5D_bs7E3uc

+2

यह सब मुझे पता है।लेकिन मुझे कैसे पता चलेगा कि 1 कोर पर्याप्त है और सभी आरईएसटी (इसे 8 या 64 या 200 होने दें) कार्य हो सकता है, या एक अनुपात (स्पष्ट रूप से मेरे काम पर निर्भर) होने की आवश्यकता है कि अगर मैं पास करता हूं (बहुत से जोड़ता हूं कार्य के उदाहरण) नौकरी को धीमा कर देंगे क्योंकि "पर्याप्त" मूल उदाहरण नहीं हैं, और मूल उदाहरण के आईओ (यदि मैं इसे समझता हूं तो सभी कार्य उदाहरणों का उपयोग किया जाता है) बोतल-गर्दन – Gavriel

+0

बन जाएगा ओह मैं देखता हूं। यह एक दिलचस्प सवाल है, लेकिन मुझे डर है कि मैंने कभी इस बात का प्रयोग नहीं किया है। मुझे नहीं लगता कि मैंने कभी भी अपनी नौकरियों को और अधिक कार्य नोड जोड़कर कम कुशलता से चलते देखा है, लेकिन यह मेरी नौकरियां हो सकती है। आप ईएमआर कंसोल पर अपनी नौकरी की निगरानी करके और लंबी दौड़ वाली नौकरी पर कोर/टास्क ग्रुप का आकार बदलकर स्वयं को समझ सकते हैं। –

+2

हां, लेकिन मेरा सवाल बिल्कुल यही है: ईएमआर कंसोल पर कौन से उपाय इसके लिए प्रासंगिक हैं? वर्तमान में केवल एक चीज जो मैंने की थी, अलग-अलग विन्यासों के साथ एक ही नौकरी चला रही थी और उस समय को मापती थी, लेकिन यह बहुत सटीक नहीं है। – Gavriel

संबंधित मुद्दे