2017-11-06 18 views
6

हम हो रही है यादृच्छिक NetworkExceptions और TimeoutExceptions हमारे उत्पादन वातावरण में:काफ्का निर्माता NetworkException और समय समाप्त अपवाद

Brokers: 3 
Zookeepers: 3 
Servers: 3 
Kafka: 0.10.0.1 
Zookeeeper: 3.4.3 

हम कभी-कभी मेरी निर्माता लॉग में यह अपवाद हो रही है:

समाप्त हो रहा है TOPIC के लिए 10 रिकॉर्ड: XXXXXX: 5608 एमएस बैच निर्माण और अधिक समय के बाद से पारित हो गया है।

ऐसे त्रुटि संदेशों में मिलीसेकंड की संख्या बदलती रहती है। कभी-कभी इसकी ~ 5 सेकंड अन्य बार यह ~ 13 सेकंड तक है!

और बहुत मुश्किल से ही हम पाते हैं:

NetworkException: Server disconnected before response received. 

क्लस्टर दलालों और zookeepers के होते हैं। निर्माता सर्वर और काफ्का क्लस्टर में नेटवर्क में हैं।

मैं सिंक्रोनस कॉल कर रहा हूं। एक ऐसी वेब सेवा है जिसके लिए एकाधिक उपयोगकर्ता अनुरोध अपने डेटा भेजने के लिए कॉल करते हैं। काफ्का वेब सेवा में एक निर्माता ऑब्जेक्ट है जो सभी भेजता है। निर्माता का अनुरोध टाइमआउट 1000ms प्रारंभ में बदल दिया गया था जिसे 15000ms (15 सेकंड) में बदल दिया गया है। टाइमआउट अवधि बढ़ाने के बाद भी TimeoutExceptions अभी भी त्रुटि लॉग में दिखाई दे रहे हैं।

कारण क्या हो सकता है?

+0

शायद आप करने के लिए अपने अनुरोध का समय समाप्त विस्तार की कोशिश करनी चाहिए स्थापित करने के लिए अनुमति दी जा वातावरण चर KAFKA_RESERVED_BROKER_MAX_ID 1001 की तरह omething करने के लिए सेट करना होगा देखें कि क्या करता है। –

+0

आप किस कफ्का संस्करण का उपयोग कर रहे हैं? –

+1

निश्चित रूप से, कोशिश करेंगे। मुझे आश्चर्य है कि यह एक पूर्व उत्पादन वातावरण है। हमारे पास बहुत कम भार है। एक दिन में 100,000 से अधिक संदेश नहीं।क्या यह नेटवर्क की भीड़ के कारण है? क्या नेटवर्क इतने कम भार में भीड़ हो रहा है? – Shades88

उत्तर

0

समाधान 1

संशोधित

listeners=PLAINTEXT://hostname:9092 

server.properties में संपत्ति के लिए

listeners=PLAINTEXT://0.0.0.0:9092 

समाधान 2

बदलें brok दायर 1001 जैसे मान पर er.id, पर्यावरण चर KAFKA_BROKER_ID सेट करके ब्रॉकर आईडी बदलें।

आप 1001

को ब्रोकर id मुझे आशा है कि यह मदद कर सकते हैं

+0

का उपयोग कर रहे हैं मुझे नहीं लगता कि समाधान 1 काम कर सकता है। मैं ब्रोकर सेटिंग्स में 0.0.0.0 में बदल गया अब निर्माता ग्राहक काम नहीं करते क्योंकि सर्वर 0.0.0.0 पर बंधे हैं – Shades88

संबंधित मुद्दे