2016-07-31 3 views
6

मेरे पास बहुत लंबा स्पार्क नौकरी है, जिसमें से कुछ छोटी संख्या में कार्य वर्तमान में रुक गए हैं। ड्राइवर नोड से उन स्थगित कार्यों को मारने का कोई तरीका है?एक स्पार्क कार्य को मारें

अनुमति कारणों से मैं लॉग इन कर सकता हूं, लेकिन दास नोड्स पर नौकरियों को मार नहीं सकता, इसलिए मैं अकेले ड्राइवर नोड से ऐसा करने का एक तरीका ढूंढ रहा हूं। ध्यान दें, कि मैं पूरे स्पार्क नौकरी को मारना नहीं चाहता - केवल एक या दो स्थगित कार्य।

यदि यह मदद करता है, तो मैं मेसो का उपयोग कर रहा हूं और वेब यूआई तक पहुंच प्राप्त कर रहा हूं, लेकिन इसमें कार्य को मारने का विकल्प नहीं है।

उत्तर

5

नहीं, वास्तव में नहीं।

आप मैन्युअल रूप से एक व्यक्तिगत स्पार्क कार्य को मार नहीं सकते हैं, हालांकि आप स्पार्क अटकलें का उपयोग स्वचालित रूप से निर्धारित करने के लिए कर सकते हैं कि कौन से कार्य बहुत अधिक समय ले रहे हैं और उन्हें सक्रिय रूप से पुनरारंभ करें।

आप ऐसा चाहते हैं, सच करने के लिए spark.speculation सेट और [अगर आप में हिम्मत] spark.speculation.interval, spark.speculation.multiplier, spark.speculation.quantile विन्यास विकल्पों को संशोधित।

संबंधित दस्तावेज: http://spark.apache.org/docs/latest/configuration.html#viewing-spark-properties

अतः संबंधित: How to deal with tasks running too long (comparing to others in job) in yarn-client?

+0

स्पार्क यूआई आप व्यक्तिगत कार्यों को मारने और मुझे लगता है कि वे फिर से समय और अगली बार काम करने के लिए अनुमति देने के लिए लगता है। ऐसा लगता है कि कार्यों को मारने के लिए एक एपीआई है। यद्यपि इसका उपयोग करने के लिए शायद यह मैन्युअल काम होगा। मैं एक ही मुद्दे से पीड़ित हूं और अटकलें वर्तमान में अन्य समस्याओं का कारण बन रही हैं इसलिए मैं इसे आजमाने की बहस कर रहा हूं। –

+1

स्पार्क यूआई आपको नौकरी के चरणों को मारने देता है, लेकिन मुझे व्यक्तिगत नौकरी कार्यों को मारने के लिए किसी भी कार्यक्षमता से अवगत नहीं है। यूआई में कार्य हत्या कहाँ संभव है? – Garren

+0

आप सही हैं, मेरी माफ़ी। मैं गलत शब्द का उपयोग कर रहा था और चरणों के बारे में सोच रहा था। –

संबंधित मुद्दे