अमेज़ॅन ईसीएस पर डॉकर में नोड एपीआई चलाने का सबसे अच्छा तरीका क्या है?

Question

डोकर और शेड्यूलिंग अमेज़न के ईसीएस की तरह & आयोजन सेवाओं के आगमन के साथ, मैं अपने नोड एपीआई तैनात करने के लिए इष्टतम तरीका निर्धारित करने के लिए कोशिश कर रहा हूँ। डॉकर और ईसीएस के साथ, मैं मास्टर प्रक्रिया और एकाधिक कार्यकर्ता प्रोसेसर बनाकर documentation में सुझाए गए एसिंक्रोनस त्रुटि की स्थिति में नोड ऐप को क्रैश करने के लिए नोड क्लस्टर लाइब्रेरी का लाभ उठाना चाहता हूं।

क्लस्टर दृष्टिकोण के लाभों में से एक, शान से निपटने त्रुटियों के अलावा, प्रत्येक उपलब्ध सीपीयू के लिए एक कार्यकर्ता प्रोसेसर पैदा कर रही है। लेकिन क्या यह डॉकर दुनिया में समझ में आता है? क्या यह एक एकल डॉकर कंटेनर में चल रहे कई नोड प्रक्रियाओं को समझने के लिए समझ में आता है जिसे ईसीएस पर ईसी 2 उदाहरणों के समूह में स्केल किया जा रहा था?

नोड क्लस्टर दृष्टिकोण के बिना, मैं गलतियों को गलती से संभालने की क्षमता खो देता हूं और इसलिए मुझे लगता है कि कम से कम, मुझे प्रति डॉकर कंटेनर के लिए एक मास्टर और एक कार्यकर्ता प्रक्रियाएं चलनी चाहिए। मैं अभी भी उलझन में हूं कि ईसीएस के लिए कार्य परिभाषा में कितने सीपीयू परिभाषित किए जाएंगे। ECS documentation प्रत्येक कंटेनर उदाहरण के बारे में कुछ कहता है जिसमें प्रति सीपीयू 1024 इकाइयां होती हैं; लेकिन यह ईसी 2 गणना इकाइयों की तरह ही नहीं है, है ना? और इसके साथ ही, मुझे यह अधिकार प्राप्त करने के लिए उचित मात्रा में वीसीपीयू के साथ ईसी 2 इंस्टेंस प्रकारों को चुनना होगा?

मैं समझता हूँ कि सबसे इष्टतम विन्यास को प्राप्त मेरी विशिष्ट नोड API एप्लिकेशन बेंचमार्किंग के कुछ स्तर की आवश्यकता हो सकती है, लेकिन यह जहां शुरू करने के लिए का एक बेहतर विचार है करने के लिए भयानक होगा। हो सकता है कि कुछ अध्ययन/शोध मुझे करने की ज़रूरत है? पथ या सिफारिशों पर मुझे मार्गदर्शन करने के लिए कोई संकेतक सबसे सराहना की जाएगी!

संपादित करें: मेरी विशिष्ट प्रश्न सारांश यह है:

1. यह मतलब है के रूप में एक डोकर कंटेनर के अंदर वर्णित here सुंदर क्रैश होने प्राप्त करने के लिए एक मास्टर/कार्यकर्ता क्लस्टर चलाने के लिए?

2. क्या क्लस्टर डॉक्स में वर्णित लगभग समान कोड का उपयोग करना, require('os').cpus().length के माध्यम से उपलब्ध CPUs को 'स्केल' करने के लिए समझदारी होगी?

3. ईसीएस कार्य परिभाषाओं के लिए प्रलेखन में अमेज़ॅन का क्या अर्थ है, जहां यह cpus सेटिंग के लिए कहता है, कि container instance has 1024 units per CPU? और इस सेटिंग के लिए एक अच्छा प्रारंभिक बिंदु क्या होगा?

4. क्या एक नोड से ऊपर के आधार पर API की सेवा करने के उद्देश्य से एक ईसीएस क्लस्टर के लिए उपयोग करने के लिए उदाहरण के प्रकार के लिए एक अच्छा प्रारंभिक बिंदु हो सकता है? और उपलब्ध वीसीपीयू पिछले प्रश्नों को कैसे प्रभावित करते हैं?

Answer 1

ये सभी तकनीकें नई हैं और सर्वोत्तम प्रथाएं अभी भी स्थापित की जा रही हैं, इसलिए इन्हें केवल मेरे अनुभव से सुझावों पर विचार करें।

एक प्रक्रिया-प्रति-कंटेनर एक कठिन और तेज़ नियम की तुलना में एक सुझाव है। जब आप इसके लिए उपयोग करते हैं तो एक कंटेनर में कई प्रक्रियाओं को चलाने के लिए ठीक है, खासतौर पर इस मामले में जहां एक मास्टर प्रोसेस फोर्क कार्यकर्ता है। बस एक कंटेनर का उपयोग करें और इसे प्रति कोर एक प्रक्रिया को फोर्क करने दें, जैसा कि आपने प्रश्न में सुझाव दिया है।

ईसी 2 पर, उदाहरण प्रकारों में कई वीसीपीयू हैं, जो ओएस के मूल के रूप में दिखाई देंगे। ईसीएस क्लस्टर के लिए एक ईसी 2 इंस्टेंस प्रकार का उपयोग करें जैसे कि सी 3 एक्सक्लर्ज चार वीसीपीयू के साथ। ईसीएस में यह 4096 सीपीयू इकाइयों का अनुवाद करता है। यदि आप ऐप को सभी 4 वीसीपीयू का उपयोग करना चाहते हैं, तो एक कार्य परिभाषा बनाएं जिसके लिए 4096 सीपीयू इकाइयों की आवश्यकता हो।

लेकिन यदि आप ऐप को क्रैश होने से रोकने के लिए यह सब कर रहे हैं तो आप कंटेनर को क्रैश होने पर पुनरारंभ करने के लिए केवल पुनरारंभ नीति का उपयोग कर सकते हैं। ऐसा प्रतीत होता है कि पुनरारंभ नीतियां अभी तक ईसीएस द्वारा समर्थित नहीं हैं।

Answer 2

डोकर दुनिया में आप डोकर कंटेनर प्रति 1 NodeJS चल पाएंगे, लेकिन आप अपने EC2 उदाहरणों में से प्रत्येक पर कई ऐसे कंटेनर चलाए जा सकें। यदि आप fig जैसे कुछ का उपयोग करते हैं तो आप कई अनावश्यक कंटेनरों को एक उदाहरण चलाने के लिए fig scale <n> का उपयोग कर सकते हैं। इस तरह आपको समय से पहले अपने नोडज गिनती को परिभाषित करने की आवश्यकता नहीं है और आपकी प्रत्येक नोडज प्रक्रियाओं को दूसरों से अलग किया जाता है।

Answer 3

कि एक बहुत अच्छी पैटर्न की तरह लगता है

। यह एरलांग/ओटीपी के साथ क्या किया जाता है, और मुझे नहीं लगता कि कोई भी तर्क देगा कि यह ग्रह पर सबसे मजबूत प्रणालियों में से एक है। अब सवाल यह है कि कैसे कार्यान्वित किया जाए।

मैं Heroku या अन्य इसी तरह PaaS सिस्टम से पैटर्न में थोड़ा और अधिक परिपक्वता है कि लाभ उठाने होगा।मैं यह नहीं कह रहा हूं कि ऐसा करने के लिए अमेज़ॅन गलत जगह है, लेकिन बस इतना है कि आप उन अन्य क्षेत्रों में बहुत से काम कर चुके हैं जिनका आप अनुवाद कर सकते हैं। https://devcenter.heroku.com/articles/node-cluster

जहाँ तक vCPU और कंप्यूट इकाइयों के बीच संबंधों के रूप में, ऐसा लगता है कि यह सिर्फ 1/1024 की एक सीधी अनुपात है जैसे: उदाहरण के लिए, इस लेख में यह एक नुस्खा है। यह CPU उपयोग के आधार पर माइक्रोचार्ज की ओर एक कदम है। वे लैम्ब्डा काम के साथ भी इन्हें आगे ले जा रहे हैं। वे आपके द्वारा उपयोग किए जाने वाले दूसरे के अंशों के आधार पर आपको चार्ज कर रहे हैं।