हम हो रही है यादृच्छिक NetworkExceptions
और TimeoutExceptions
हमारे उत्पादन वातावरण में:काफ्का निर्माता NetworkException और समय समाप्त अपवाद
Brokers: 3
Zookeepers: 3
Servers: 3
Kafka: 0.10.0.1
Zookeeeper: 3.4.3
हम कभी-कभी मेरी निर्माता लॉग में यह अपवाद हो रही है:
समाप्त हो रहा है TOPIC के लिए 10 रिकॉर्ड: XXXXXX: 5608 एमएस बैच निर्माण और अधिक समय के बाद से पारित हो गया है।
ऐसे त्रुटि संदेशों में मिलीसेकंड की संख्या बदलती रहती है। कभी-कभी इसकी ~ 5 सेकंड अन्य बार यह ~ 13 सेकंड तक है!
और बहुत मुश्किल से ही हम पाते हैं:
NetworkException: Server disconnected before response received.
क्लस्टर दलालों और zookeepers के होते हैं। निर्माता सर्वर और काफ्का क्लस्टर में नेटवर्क में हैं।
मैं सिंक्रोनस कॉल कर रहा हूं। एक ऐसी वेब सेवा है जिसके लिए एकाधिक उपयोगकर्ता अनुरोध अपने डेटा भेजने के लिए कॉल करते हैं। काफ्का वेब सेवा में एक निर्माता ऑब्जेक्ट है जो सभी भेजता है। निर्माता का अनुरोध टाइमआउट 1000ms प्रारंभ में बदल दिया गया था जिसे 15000ms (15 सेकंड) में बदल दिया गया है। टाइमआउट अवधि बढ़ाने के बाद भी TimeoutExceptions
अभी भी त्रुटि लॉग में दिखाई दे रहे हैं।
कारण क्या हो सकता है?
शायद आप करने के लिए अपने अनुरोध का समय समाप्त विस्तार की कोशिश करनी चाहिए स्थापित करने के लिए अनुमति दी जा वातावरण चर
KAFKA_RESERVED_BROKER_MAX_ID
1001 की तरह omething करने के लिए सेट करना होगा देखें कि क्या करता है। –आप किस कफ्का संस्करण का उपयोग कर रहे हैं? –
निश्चित रूप से, कोशिश करेंगे। मुझे आश्चर्य है कि यह एक पूर्व उत्पादन वातावरण है। हमारे पास बहुत कम भार है। एक दिन में 100,000 से अधिक संदेश नहीं।क्या यह नेटवर्क की भीड़ के कारण है? क्या नेटवर्क इतने कम भार में भीड़ हो रहा है? – Shades88