मैं स्पार्क स्ट्रीमिंग कैसे रोकूं? मेरी स्पार्क स्ट्रीमिंग नौकरी लगातार चल रही है। मैं एक सुंदर तरीके से रुकना चाहता हूँ।स्पार्क स्ट्रीमिंग एप्लिकेशन को गहन तरीके से कैसे रोकें?
मैंने स्ट्रीमिंग एप्लिकेशन को बंद करने के विकल्प के नीचे नीचे देखा है।
sparkConf.set("spark.streaming.stopGracefullyOnShutdown","true")
Spark configuration: available properties
लेकिन, मैं कैसे एक चल आवेदन पर इस पैरामीटर अपडेट करते हैं?
this blogpost पर एक नज़र डालें। यह एक स्ट्रीमिंग नौकरी को गहराई से समाप्त करने का "सबसे अच्छा" तरीका है जो मैंने पार किया है।
कैसे शटडाउन सिग्नल पारित करने के लिए:
अब हम कैसे चिंगारी स्ट्रीमिंग में सुंदर शटडाउन सुनिश्चित करने के लिए पता है। लेकिन स्ट्रीमिंग स्पार्क करने के लिए हम शटडाउन सिग्नल कैसे पास कर सकते हैं। एक बेवकूफ विकल्प स्क्रीन टर्मिनल पर CTRL + C कमांड का उपयोग करना है जहां हम ड्राइवर प्रोग्राम चलाते हैं लेकिन जाहिर है कि यह एक अच्छा विकल्प नहीं है। एक समाधान, जिसका मैं उपयोग कर रहा हूं, स्पार्क स्ट्रीमिंग की ड्राइवर प्रक्रिया grep है और एक सिगरेट सिग्नल भेजता है। जब चालक को यह संकेत मिलता है, तो यह एप्लिकेशन के सुन्दर शट डाउन को शुरू करता है। हम कुछ शेल स्क्रिप्ट में नीचे दिए गए कमांड को लिख सकते हैं और शट डाउन सिग्नल पास करने के लिए स्क्रिप्ट चला सकते हैं:
ps -ef | grep स्पार्क | grep | अजीब '{प्रिंट $ 2}' | xargs kill -SIGTERM
उदा। पीएस-एफआई | grep स्पार्क | grep डेटापाइपलाइनस्ट्रीम ड्रायवर | अजीब '{प्रिंट $ 2}' | xargs मारने -SIGTERM
क्या मुझे उपरोक्त आदेश चलाने से पहले sparkConf.set ("spark.streaming.stopGracefullyOnShutdown", "true") सेट करने की आवश्यकता है? – AKC
हां, आपको सेटिंग भी चाहिए :) लेकिन कृपया पूरा ब्लॉग पोस्ट पढ़ें। –
गॉट यह .. जब यह सक्षम होता है, तो कुछ अपवाद होने पर मेरे कोड में गहन रूप से बंद करने के लिए कैसे करें। – AKC
आप sparkContext के निर्माण के बाद sparkcontext की sparkConf निर्धारित नहीं कर सकते। – Knight71
जब आप सुंदर कहते हैं तो आपका क्या मतलब है? क्या आपका ऐप बंद होने पर कुछ भी गलत हो रहा है? –
मैं एप्लिकेशन को मैन्युअल रूप से रोकना चाहता हूं। दो परिदृश्य हैं। मैं इस बारे में स्पष्ट हूं कि कुछ त्रुटि खुश होने पर इसे कैसे रोकें, मेरे पास कोड में है। लेकिन अगर मैं मैन्युअल रूप से रुकना चाहता हूं, तो मैं एक तंत्र की तलाश में हूं। – AKC