मैंने कफका वेबसाइट पर प्रलेखन पढ़ा लेकिन पूर्ण न्यूनतम उदाहरण (निर्माता -> कफका -> उपभोक्ता) को लागू करने की कोशिश करने के बाद यह मुझे स्पष्ट नहीं है कि "उपभोक्ता राज्य", ऑफसेट को संभालने की जरूरत है।अपाचे काफ्का: उपभोक्ता राज्य
कुछ जानकारी
- मैं highlevel एपीआई (जावा)
- मेरे उपभोक्ता एक मुख्य, मूल रूप से एक ही "त्वरित प्रारंभ" काफ्का पेज पर पाया जा सकता है कि के साथ एक सरल वर्ग है उपयोग कर रहा हूँ
- मैं Zookeeper
- उपयोग कर रहा हूँ मैं अब एक दलाल
उपयोग कर रहा हूँ, प्रलेखन का कहना है कि highlevel एपीआई उपभोक्ता stor es अपने राज्य चिड़ियाघर संचालक का उपयोग कर तो मैं ऑफसेट और इसलिए उपभोक्ता के राज्य
-
काफ्का दलाल पुन: प्रारंभ होता बनाए रखा जाना होगा उम्मीद करेंगे
- उपभोक्ता पुन: प्रारंभ होता
लेकिन दुर्भाग्य से यह नहीं है: प्रत्येक समय मैं ब्रोकर या उपभोक्ता को पुनरारंभ करता हूं, सभी संदेश फिर से वितरित किए जाते हैं। अब, शायद इन बेवकूफ सवाल कर रहे हैं लेकिन
काफ्का के मामले में पुन: प्रारंभ: मैं समझ गया कि उपभोक्ता पर निर्भर है अपने राज्य तो शायद रखने के लिए जब दलाल (री) शुरू होता है फिर से डिलीवर सभी (!) संदेश और उपभोक्ता निर्णय लेता है कि क्या उपभोग करना है ... क्या यह सही है? यदि हां, तो क्या होगा यदि मेरे पास 10.0000.0000 संदेश हैं?
जेवीएम उपभोक्ता के मामले में पुन: प्रारंभ करें: यदि राज्य को ज़ूकीपर पर रखा जाता है तो संदेश फिर से वितरित क्यों होते हैं? क्या यह संभव है कि नए जेवीएम में एक अलग उपभोक्ता "पहचान" है? और इस मामले में, मैं पिछली पहचान कैसे बांध सकता हूं?
आप कैसे आप काफ्का से ऑफसेट स्थानीय स्तर के बजाय प्रबंधन पर विस्तार से बता सकते हैं? जैसे कि आप भेजे गए प्रत्येक संदेश के लिए ऑफ़सेट निर्धारित करते हैं और गणना करते हैं, तो उपभोग किया जाए। – David
एक बार खपत - संदेश आईडी के रूप में वर्तमान टाइमस्टैंप जोड़ें, और बास्करी ब्लॉब के रूप में स्टोर संदेश (इसे एवरो प्रारूप में भेजा गया है और हम इस बिंदु पर इसे deserialize नहीं करते हैं) hsql (डिस्क पर दृढ़ता के साथ) में, या आप apache फीनिक्स और संग्रह का उपयोग कर सकते हैं यह दो कॉलम आईडी (टाइमस्टैम्प) के साथ बाइनरी प्रारूप में है, संदेश (VARBINARY) – alex
लेकिन यह संदेश ऑफ़सेट से कैसे संबंधित है? काफ्का ऑफ़सेट मान संदेश का टाइमस्टैम्प या बाइनरी एन्कोडिंग नहीं है या हैश है या नहीं? मैं अभी भी काफ्का के लिए नया हूं, इसलिए मेरी अज्ञानता को क्षमा करें। – David