apache-kafka

7गर्मी

3उत्तर

पर जेएसओएन संदेश से स्पार्क स्ट्रीमिंग में स्पार्क डेटाफ्रेम बनाएं, मैं स्कैला में स्पार्क स्ट्रीमिंग के कार्यान्वयन पर काम कर रहा हूं, जहां मैं एक कफका विषय से JSON स्ट्रिंग खींच रहा हूं और उन्हें डे

6गर्मी

1उत्तर

वसंत-एकीकरण-काफ्का कॉन्फ़िगरेशन उपभोक्ता निर्दिष्ट विभाजन से संदेश प्राप्त करने के लिए

मैंने अपनी परियोजना में वसंत-एकीकरण-काफ्का का उपयोग शुरू किया, और मैं काफ़का से संदेश तैयार और उपभोग कर सकता हूं। लेकिन अब, मैं विशिष्ट विभाजन को संदेश बनाना चाहता हूं और विशिष्ट विभाजन से संदेश भी उप

16गर्मी

1उत्तर

एवरो और स्कीमा रेपो के साथ अपाचे काफ्का - जहां संदेश में स्कीमा आईडी जाता है?

मैं अपने काफ्का संदेशों के डेटा को क्रमबद्ध करने के लिए एवरो का उपयोग करना चाहता हूं और इसे एवरो स्कीमा रिपोजिटरी के साथ उपयोग करना चाहता हूं इसलिए मुझे प्रत्येक संदेश के साथ स्कीमा शामिल करने की आवश्

6गर्मी

1उत्तर

काफ्का मेमोरी आवश्यकता

मैं अभी शुरुआत काफ्का को हम प्रसंस्करण के लिए 17,000 घटनाओं/600bytes के आकार में प्रत्येक घटना के साथ सेकंड हमारे काफ्का क्लस्टर (एक 5 नोड क्लस्टर) आकार के लिए देख रहे हैं। हम एक सप्ताह के लिए 3 की एक

5गर्मी

3उत्तर

अपाचे स्पार्क

के साथ लैम्ब्डा आर्किटेक्चर मैं निम्नलिखित टूल्स का उपयोग करके लैम्ब्डा आर्किटेक्चर को कार्यान्वित करने की कोशिश कर रहा हूं: अपाचे काफ्का सभी डेटापॉइंट्स प्राप्त करने के लिए, बैच प्रोसेसिंग (बिग डेटा)

9गर्मी

3उत्तर

डॉकर होस्ट

के बाहर से काफ्का डॉकर कंटेनर के साथ इंटरैक्ट करें मैंने एक कफका डॉकर कंटेनर बनाया है और इसे डॉकर-कंपोज़ का उपयोग करके ऑर्केस्ट्रेट किया है। कॉलिंग docker ps मैं निम्नलिखित putput मिलती है: CONTAINER

6गर्मी

1उत्तर

पाइथन स्पार्क

का उपयोग कर कफका को बड़े सीएसवी भेजना मैं कफका को एक बड़ा सीएसवी भेजने की कोशिश कर रहा हूं। मूल संरचना सीएसवी की एक रेखा को पढ़ने और शीर्षलेख के साथ ज़िप करने के लिए है। a = dict(zip(header, line.spli

80गर्मी

3उत्तर

कफका उपभोक्ता ऑफ़सेट क्या निर्धारित करता है?

मैं काफ्का के लिए अपेक्षाकृत नया हूं। मैंने इसके साथ थोड़ा सा प्रयोग किया है लेकिन कुछ चीजें उपभोक्ता ऑफसेट के बारे में मुझे अस्पष्ट नहीं हैं। जो मैंने समझा, उससे जब उपभोक्ता शुरू होता है, तो ऑफसेट इस

5गर्मी

1उत्तर

साधारण उपभोक्ता और उच्च स्तर के उपभोक्ता के बीच क्या अंतर है?

अपाचे काफ्का में साधारण उपभोक्ता और उच्च स्तर के उपभोक्ता के बीच क्या अंतर है? मैं इंटरनेट पर उपलब्ध कई परिभाषाओं से नहीं समझ सका।

7गर्मी

1उत्तर

कफका

में उत्पादकों को कैसे सूचीबद्ध करें जैसे कि कफका ऑफ़सेट मॉनीटर किसी विषय के सक्रिय उपभोक्ताओं की एक सूची दिखा सकता है, क्या कोई उपकरण या कमांड लाइन इंटरफ़ेस या कुछ भी है जो किसी दिए गए विषय पर प्रकाशि