2016-11-02 10 views
5

मेरे पास प्राथमिक क्षेत्र (यूएस-ईस्ट) में एक कर्मचारी है जो हमारे किनारे स्थानों पर यातायात पर डेटा की गणना करता है। मैं डेटा को एक एज क्षेत्र से हमारे प्राथमिक काफ्का क्षेत्र में धक्का देना चाहता हूं।मेरे किनारे नोड्स से काफ्का संदेशों को धक्का देने का सबसे अच्छा तरीका क्या है?

पोलैंड, ऑस्ट्रेलिया, यूएस-वेस्ट का एक उदाहरण है। मैं इन सभी आंकड़ों को यूएस-ईस्ट में धक्का देना चाहता हूं। मैं किनारे क्षेत्रों से प्राथमिक में लिखने के दौरान अतिरिक्त विलंबता को नहीं लेना चाहता हूं।

दूसरा विकल्प एक और काफ्का क्लस्टर और कार्यकर्ता बनाना है जो रिले के रूप में कार्य करता है। इसके लिए हमें प्रत्येक क्षेत्र में व्यक्तिगत क्लस्टर बनाए रखने की आवश्यकता होगी और हमारे तैनाती में बहुत अधिक जटिलता शामिल होगी।

मैंने मिरर निर्माता को देखा है, लेकिन मैं वास्तव में कुछ भी मिरर नहीं करना चाहता, मुझे लगता है कि मैं रिले सिस्टम के लिए और अधिक देख रहा हूं। यदि यह ऐसा करने का डिज़ाइन किया गया तरीका नहीं है, तो मैं गणना और क्रमबद्ध करने के लिए प्राथमिक क्षेत्र में हमारे सभी एप्लिकेशन मीट्रिक को कैसे एकत्र कर सकता हूं?

आपके समय के लिए धन्यवाद।

+0

स्पष्टीकरण की बिट, क्या आप किसी केंद्रीय कैफका क्लस्टर पर संदेश प्रकाशित करने के लिए अपने किनारे नोड पर चल सकते हैं? या आप किसी और केंद्रीय तरीके से कार्य करने के लिए कुछ ढूंढ रहे हैं जो प्रत्येक किनारे नोड तक पहुंच सकता है, अपडेट के लिए पूछ सकता है और फिर उन अद्यतनों को काफ्का क्लस्टर में प्रकाशित कर सकता है? – JDP10101

उत्तर

1

जहाँ तक मुझे पता है, यहाँ अपने विकल्प हैं:

  1. सेटअप प्रत्येक क्षेत्र में एक स्थानीय काफ्का क्लस्टर और के लिए कम विलंबता लिखते हैं अपने किनारे नोड्स उनके स्थानीय काफ्का क्लस्टर के लिए लिखने की है। से, आप एक दर्पण निर्माता स्थापित करेंगे जो आपके स्थानीय काफ्का से डेटा को आपके रिमोट काफ्का में एकत्रित करने के लिए खींचता है।
  2. यदि आप उच्च अक्षांश अवरुद्ध अनुरोधों के साथ अपने अनुप्रयोग अनुरोध पथ में बाधा डालने के लिए चिंतित हैं, तो आप अपने उत्पादकों को अपने रिमोट काफ्का क्लस्टर में असीमित रूप से (गैर-अवरुद्ध) लिखने के लिए कॉन्फ़िगर करना चाहेंगे। आपकी प्रोग्रामिंग भाषा पसंद के आधार पर, यह सरल या जटिल व्यायाम हो सकता है।
  3. एक प्रति होस्ट रिले (या डेटा बफर) सेवा चलाएं जो एक लॉग फ़ाइल और डिमन के रूप में सरल हो सकता है जो आपके रिमोट काफ्का क्लस्टर (ऊपर उल्लिखित) पर धक्का देता है। वैकल्पिक रूप से, एक उदाहरण उदाहरण कफका/जुकीपर कंटेनर चलाएं (वहां डॉकर छवियां हैं जो दोनों एक साथ बंडल करती हैं) जो डाउनस्ट्रीम खींचने के लिए डेटा को बफर करती है।

विकल्प 1. इस समस्या का निश्चित रूप से सबसे मानक समाधान है, हालांकि थोड़ा भारी हाथ। मुझे संदेह है कि भविष्य में विकल्प 3 का समर्थन करने के लिए कंफ्लुएंट/काफ्का लोगों के बाहर और अधिक टूलींग आ रही है।

1

संदेशों को डिस्क पर स्थानीय लॉगफाइल पर लिखें। एक छोटा डिमन लिखें जो लॉगफाइल पढ़ता है और घटनाओं को मुख्य कफका डिमन पर धक्का देता है।

थ्रूगूट बढ़ाने और विलंबता के प्रभाव को सीमित करने के लिए आप हर मिनट लॉगफाइल को घुमा सकते हैं। फिर लॉगऑफ को अपने मुख्य काफ्का क्षेत्र में क्रोनबॉज के साथ संक्षेप में rsync करें। आयात डिमन वहां चलने दें।

संबंधित मुद्दे

 संबंधित मुद्दे