स्पार्क खोल से spark.local.dir संपत्ति कैसे सेट करें?

Question

मैं sc.getconf.set("spark.local.dir","/temp/spark") का उपयोग कर स्पार्क-खोल से spark.local.dir सेट करने का प्रयास कर रहा हूं, लेकिन यह काम नहीं कर रहा है। क्या इस संपत्ति को स्पार्कशेल से सेट करने का कोई और तरीका है।

Answer 1

आप इसे से खोल में नहीं कर सकते - क्योंकि स्पार्क संदर्भ पहले से ही बनाया गया था, इसलिए स्थानीय डीआईआर पहले ही सेट (और उपयोग किया गया था)। आप इसे पैरामीटर के रूप में पास करना चाहिए जब खोल शुरू करने:

./spark-shell --conf spark.local.dir=/temp/spark 

Answer 2

@Tzach ज़ोहर समाधान सही जवाब हो रहा है।

हालांकि, अगर आप से spark.local.dir स्थापित करने के लिए जोर देते हैं चिंगारी शैल आप यह कर सकते हैं:

1) वर्तमान चिंगारी संदर्भ

sc.stop() 

2) अनुसूचित जाति विन्यास अद्यतन बंद करते हैं, और इसे पुनरारंभ करें।

अद्यतन कोड कृपया @ Tzach-ज़ोहर द्वारा प्रदान किया गया:

SparkSession.builder.config(sc.getConf).config("spark.local.‌​dir","/temp/spark").‌​getOrCreate()) 

@Tzach ज़ोहर नोट: "लेकिन आप एक चेतावनी SparkContext मिलता है: एक मौजूदा SparkContext का प्रयोग करें, कुछ विन्यास प्रभाव नहीं लग सकता है, जो सुझाव देता है कि यह लेने के लिए अनुशंसित पथ नहीं है।