बैच प्रसंस्करण नौकरियों के लिए झुंड, कुबर्नेट या मेसो

Question

मेरे आवेदन को वर्कर नोड्स (विभिन्न बैच प्रोसेसिंग जॉब्स करने के लिए) के रूप में बहुत से कंटेनर चलाने की आवश्यकता है और मुझे वेब सर्वर या डेटाबेस रखने में वास्तव में दिलचस्पी नहीं है - केवल छोटी नौकरियां जो 1 सेकंड से 1 घंटे के बीच कहीं भी ले जा सकता है। मेरा विचार है कि मुझे नोड्स के बादल के खिलाफ काम करना है, इस बारे में चिंता करने के बिना कि इन नोड्स की मशीन में मेरे काम को संसाधित करने के लिए उपलब्ध संसाधन हैं (मेसोस इस पर बहुत अच्छा है - विज्ञापित के रूप में)।

मैं अभी डीसी/ओएस के साथ खेल रहा हूं और मैं सोच रहा था कि अन्य क्लस्टरिंग प्रौद्योगिकियों में से कोई भी इस सुविधा की पेशकश करता है: given I need 1CPU, 2GB RAM and 2GB of disk - run X docker container against my nodes।

मुझे इस तथ्य के कारण झुंड का विचार पसंद है कि मैं डॉकर से बहुत परिचित हूं और मुझे विश्वास है कि यह सेटअप और स्वचालित (स्केल अप या डाउन) के लिए सबसे आसान है। मुझे कुबेरनेट पसंद है (हालांकि कोई अनुभव नहीं) क्योंकि यह मुफ़्त है और मुझे पूरा यकीन है कि यह लंबे समय तक इस तरह रहेगा। मुझे डीसी/ओएस पसंद है क्योंकि यह बहुत कुछ बंडल करता है लेकिन मुझे उनकी भविष्य की योजनाओं के बारे में निश्चित नहीं है और मैं उन योजनाओं को शामिल करने के लिए सुविधाओं को काटने की परियोजनाओं के लिए उपयोग करता हूं जो आपकी आत्मा को एक्स नोड्स के लिए चार्ज करते हैं।

आपके क्या विचार हैं?

Answer 1

Kubernetes, झुंड, और Mesos सभी तकनीकी रूप से आप के लिए कार्य शेड्यूल और आप के लिए संसाधनों को बाधित कर सकता है।

इन दोनों की Mesos एक निचले स्तर पर वितरण, कार्य, और संसाधन प्रबंधन को संभालने के लिए मुख्य रूप से डिजाइन किया गया था। इन बिट्स पर ध्यान केंद्रित करने से अधिक शक्ति और लचीलापन होता है, लेकिन निचले स्तर पर अधिक जटिलता भी होती है। यही कारण है कि डीसी/ओएस मौजूद है, आपको माइक्रोस्कोयर उपकरण का एक बंडल देने के लिए जो उच्च स्तर के मंच के रूप में अच्छी तरह से काम करता है।

मेसोस को भी कार्य जीवन चक्र की जरूरतों को संभालने के लिए अपना स्वयं का शेड्यूलर लाने की अनुमति देने के लिए डिज़ाइन किया गया था, जो राज्य के कार्यों के लिए आवश्यक है। कुबेरनेट और स्वार मुख्य रूप से स्टेटलेस सेवाओं के उपयोग के मामले को संभालने के लिए डिजाइन किए गए थे और फिर शामिल शेड्यूलर के साथ राज्यव्यापी सेवाओं और नौकरियों को संभालने के लिए बाद में अनुकूलित किए गए थे।

डीसी/ओएस मेसोस पर बनाया गया है और नौकरियों और सेवाओं के लिए अंतर्निहित शेड्यूलर के साथ आता है, जबकि आपको आवश्यकता होने पर भी अपना कस्टम शेड्यूलर बनाने की अनुमति मिलती है।

Kubernetes हाल ही में कस्टम शेड्यूलर के लिए समर्थन जोड़ा है, लेकिन इसकी काफी कम Mesos कार्यान्वयन और पारिस्थितिकी तंत्र से परिपक्व है और यह भी अभी भी, कोर फली & प्रतिकृति सेट पुरातन है, जो सशक्त बनाने या सीमित किया जा सकता है का उपयोग कर के आसपास घूमती है अपनी आवश्यकताओं पर निर्भर करता है ।

मेसोस्फीयर ने हाल ही में जेवीएम-आधारित मेसोस शेड्यूलर बनाने के लिए इसे छोटा बनाने के लिए एक नया डीसीओएस-कॉमन्स फ्रेमवर्क बनाया है। ताकि डीसी/ओएस पर आपकी उत्पादकता को बढ़ावा मिले। https://github.com/mesosphere/dcos-commons

मेसो & डीसी/ओएस आपको कंटेनरेशन पर अधिक विकल्प भी देता है। यदि आप चाहें तो आप डॉकर छवियों और डॉकर कंटेनर का उपयोग कर सकते हैं। या आप मेसोज कंटेनर रनटाइम का उपयोग डॉकर छवियों के साथ या उसके बिना कर सकते हैं, जो आपको वर्कलोड और पैकेजिंग के मामले में अधिक लचीलापन देता है।

डीसी/ओएस और कुबर्नेट्स दोनों में पैकेज प्रबंधक भी हैं, जो स्पार्क, काफ्का, या कैसंद्रा जैसी निर्भरताओं को स्थापित करने के लिए उपयोगी हो सकते हैं। लेकिन डीसी/ओएस कस्टम शेड्यूलर के देर से आने की वजह से है, क्योंकि वे अपने स्वयं के कस्टम शेड्यूलर के साथ बनाया कर रहे हैं, और अधिक मजबूत डाटा सेवाओं के लिए Kubernetes पारिस्थितिकी तंत्र अपने सिस्टम के आसपास जटिल जीवन चक्र प्रबंधन डोकर कंटेनर रैपर बनाने के लिए जाता है, जबकि जाता है। यदि आप डॉकर छवियों "पैकेज" पर विचार करते हैं तो डॉकर में पैकेज प्रबंधन भी शामिल है। अंतर यह है कि डीसी/ओएस और कुबर्नेट्स उच्च स्तरीय abstractions पैकेज (ऐप्स & फली) जिसमें कई कंटेनर शामिल हो सकते हैं।हाल ही में, डॉकर ने "ढेर" जोड़े हैं जो उच्च स्तरीय abstractions हैं, लेकिन मुझे नहीं लगता कि उनके आसपास कोई बाहरी भंडार तंत्र या अधिक पैकेज प्रबंधन है।

स्वर्ग निश्चित रूप से सबसे सरल है, लेकिन इसकी मूल एपीआई को नोड एपीआई के समान बनाया गया था, जो परिचितता और ऑनबोर्डिंग के लिए बहुत अच्छा था, बल्कि उच्च स्तर के अमूर्तता के रूप में सीमित था। तब से उन्होंने प्रभावी रूप से झुंड एपीआई को फिर से लिखा है और इसे डॉकर इंजन में "स्व-मोड" के रूप में बंडल किया है। ऑर्केस्ट्रेशन इंजन और कंटेनर रनटाइम का यह बंडल उपयोगकर्ता को स्थापित करने और प्रबंधित करने में आसान बनाता है, लेकिन यह भी जोड़ता है कि पहले दो अलग-अलग अमूर्त स्तर क्या थे। तो ऑर्केस्ट्रेशन इंजनों की निर्भरता होने की बजाय, डॉकर इंजन अब भी उनके साथ प्रतिस्पर्धा करता है, एक चीज को अच्छी तरह से करने और संबंधित ओपन सोर्स समुदायों में राजनीतिक गड़बड़ी करने के लिए यूनिक्स दर्शन के खिलाफ जा रहा है। ट्विटर, हैकर समाचार, और बातचीत बातचीत forking docker की बात में बढ़ी है जो K8s experimenting on alternatives, DC/OS supporting Docker images without using Docker engine, और Docker extracting containerd की ओर ले जाती है।

वे सब ठीक काम करते हैं। एक तरह का चयन करना आपकी जरूरतों पर निर्भर करता है। मैं आम तौर पर डीसी/ओएस की सिफारिश करता हूं क्योंकि यह समस्याओं का एक बड़ा सेट tackles और कई अलग माइक्रोस्कोप उपकरण और परतों से बना है, जिससे आप अधिक उपयोग करने के बजाय परत के खिलाफ प्रोग्रामिंग द्वारा एकाधिक उपयोग मामलों का समर्थन करने की अनुमति देते हैं। प्रकटीकरण, मैं Mesosphere के लिए काम करते हैं! ;)