मेरे पास स्पार्क स्ट्रीमिंग नौकरी है जो लगातार चल रही है। मैं नौकरी को शानदार तरीके से कैसे रोकूं? मैंने नौकरी की निगरानी में शटडाउन हुक को जोड़ने और नौकरी के लिए एक सिगरेट भेजने की सामान्य सिफारिशें पढ़ी हैं।मैं स्पार्क स्ट्रीमिंग नौकरी कैसे रोकूं?
sys.ShutdownHookThread {
logger.info("Gracefully stopping Application...")
ssc.stop(stopSparkContext = true, stopGracefully = true)
logger.info("Application stopped gracefully")
}
ऐसा लगता है लेकिन नौकरी को रोकने के लिए सबसे साफ तरीका नहीं दिखता है। क्या मुझसे कोई चूक हो रही है?
एक कोड परिप्रेक्ष्य से यह समझ में आता है लेकिन आप क्लस्टर पर्यावरण में इसका उपयोग कैसे करते हैं? यदि हम स्पार्क स्ट्रीमिंग जॉब शुरू करते हैं (हम क्लस्टर में सभी नोड्स पर नौकरियों को वितरित करते हैं) तो हमें नौकरी और नोड के लिए पीआईडी का ट्रैक रखना होगा जिस पर यह चल रहा था। आखिरकार जब हमें प्रक्रिया को रोकना पड़ता है, तो हमें उस ट्रैक को ट्रैक करने की आवश्यकता होती है जिस पर नौकरी चल रही थी और इसके लिए पीआईडी। मैं बस उम्मीद कर रहा था कि नौकरी स्ट्रीमिंग के लिए नौकरी नियंत्रण का एक आसान तरीका होगा।
आपको क्या साफ नहीं दिख रहा है? मुझे लगता है कि यह सही है। –
मैंने प्रश्न में कुछ और विवरण जोड़े हैं। – Saket