2015-09-21 28 views
10

मुझे विषयों की सूची के लिए कफका से पूछने का एक तरीका ढूंढना होगा। मुझे पता है कि bin\ निर्देशिका में kafka-topics.sh स्क्रिप्ट का उपयोग करके मैं ऐसा कर सकता हूं। एक बार मेरे पास यह सूची हो जाने के बाद, मुझे प्रति विषय सभी उपभोक्ताओं की आवश्यकता है। मुझे उस निर्देशिका में एक स्क्रिप्ट नहीं मिली, न ही kafka-consumer-api लाइब्रेरी में एक वर्ग जो मुझे ऐसा करने की अनुमति देता है।काफ्का उपभोक्ता सूची

इसका कारण यह है कि मुझे विषय के ऑफ़सेट और उपभोक्ताओं के ऑफसेट के बीच का अंतर जानने की आवश्यकता है।

क्या यह हासिल करने का कोई तरीका है? या क्या मुझे अपने प्रत्येक उपभोक्ताओं में इस कार्यक्षमता को लागू करने की आवश्यकता है?

उत्तर

2

काफ्का ज़ूकीपर में सभी जानकारी संग्रहीत करता है। आप ब्रोकर-> विषयों के तहत सभी विषय संबंधित जानकारी देख सकते हैं। यदि आप सभी विषयों को प्रोग्रामेटिक रूप से प्राप्त करना चाहते हैं तो आप ज़ूकीपर एपीआई का उपयोग करके ऐसा कर सकते हैं।

यह नीचे में विस्तार से समझाया गया है Tutorialspoint, Zookeeper Programmer guide

1

उच्च स्तरीय उपभोक्ता ज़ूकीपर में पंजीकृत हैं, इसलिए आप ZK से एक सूची प्राप्त कर सकते हैं, इसी तरह kafka-topics.sh विषयों की सूची प्राप्त करता है। मुझे नहीं लगता कि सभी उपभोक्ताओं को इकट्ठा करने का कोई तरीका है; कुछ उपभोग अनुरोधों में भेजने वाला कोई भी आवेदन वास्तव में एक "उपभोक्ता" है, और आप यह नहीं बता सकते कि वे पहले से ही किए गए हैं या नहीं।

उपभोक्ता पक्ष पर, अंतराल की निगरानी करने के लिए एक जेएमएक्स मीट्रिक खुलासा किया गया है: http://docs.confluent.io/1.0.1/kafka/monitoring.html#consumer-metrics। इसके अलावा, अंतराल निगरानी के लिए Burrow है।

21

उपयोग kafka-consumer-groups.sh

उदाहरण

लिए
bin/kafka-consumer-groups.sh --list --bootstrap-server localhost:9092 

bin/kafka-consumer-groups.sh --describe --group mygroup --bootstrap-server localhost:9092 
+2

हम का उपयोग करना चाहिए --zookeeper --bootstrap-सर्वर नहीं –

+0

0.9.0.0 संस्करण –

+1

लेकिन 0.9.0.0 काफ्का का एक प्राचीन संस्करण नहीं है :) –

7

आप 0.9.0.0 के लिए इसका उपयोग कर सकते जोड़ता है। संस्करण kafka

./kafka-consumer-groups.sh --list --zookeeper hostname:potnumber 

आपके द्वारा बनाए गए समूहों को देखने के लिए। यह सभी उपभोक्ता समूह के नाम प्रदर्शित करेगा।

./kafka-consumer-groups.sh --describe --zookeeper hostname:potnumber --describe --group consumer_group_name 

विवरण

GROUP, TOPIC, PARTITION, CURRENT OFFSET, LOG END OFFSET, LAG, OWNER 
संबंधित मुद्दे