मैं spark.ui.port कैसे बदलूं?

Question

मैं स्पार्क-सबमिट का उपयोग कर रहा हूं और स्पार्क संदर्भ पर .setExecutorEnv("spark.ui.port", "4050") के साथ जार फ़ाइल में ऐसा करने की कोशिश की, लेकिन यह अभी भी 4040 हिट करने का प्रयास किया। मैंने और --class CLASSNAME से पहले --conf spark.ui.port=4050 डालने का प्रयास किया, लेकिन ऐसा नहीं हुआ या तो काम करते हैं, इस बार "त्रुटि: अपरिचित विकल्प '--conf'" कह रहा है। मैं इसके आसपास कैसे पहुंचू? वास्तविक त्रुटि जो मैं चल रहा हूं वह यह है कि एक सक्रिय स्पार्क सर्वर है जो अन्य लोग इसका उपयोग कर रहे हैं जो जेट्टी सर्वर शुरू करने से इस स्पार्क-सबमिट को रोक रहा है। यह तब अन्य बंदरगाहों को मार नहीं रहा है, इसलिए मैं इसे करने के लिए मजबूर करने की कोशिश कर रहा हूं।

Answer 1

--conf spark.ui.port=4050 स्पार्क 1.1 सुविधा है। आप इसे अपने कोड में सेट कर सकते हैं, जैसे:

val conf = new SparkConf().setAppName(s"SimpleApp").set("spark.ui.port", "4050") 
val sc = new SparkContext(conf)