इंटरएक्टिव पायस्पार्क सत्र

Question

में स्पार्ककॉन्टेक्स्ट गुणों को कैसे बदलें I pyspark इंटरैक्टिव शैल में spark.driver.maxResultSize कैसे बदल सकते हैं? मैं निम्नलिखित कोड

from pyspark import SparkConf, SparkContext 
conf = (SparkConf() 
    .set("spark.driver.maxResultSize", "10g")) 
sc.stop() 
sc=SparkContext(conf) 

का इस्तेमाल किया है, लेकिन यह मुझे त्रुटि देता है

AttributeError: 'SparkConf' object has no attribute '_get_object_id' 

Answer 1

तो क्या आपके दर्शन कि SparkConf एक जावा वस्तु, यह हो रहा है, क्योंकि इसके प्रयोग करने की कोशिश नहीं है पहले पैरामीटर के रूप में SparkConf, यदि आप sc=SparkContext(conf=conf) करते हैं तो इसे आपके कॉन्फ़िगरेशन का उपयोग करना चाहिए। ऐसा कहा जा रहा है कि आप डिफ़ॉल्ट स्पार्क संदर्भ & को फिर से शुरू करने के बजाय नियमित पायथन प्रोग्राम शुरू करने के बेहतर हो सकते हैं, लेकिन आपको किसी भी तरह से कॉन्फ़ ऑब्जेक्ट को पास करने के लिए नामित पैरामीटर तकनीक का उपयोग करना होगा।

Answer 2

किसी दिए गए स्पार्क संदर्भ के लिए स्पार्क सेटिंग्स को संशोधित करने का सही तरीका आवश्यक है कि संदर्भ बंद हो।

from pyspark import SparkContext 
SparkContext.setSystemProperty('spark.driver.maxResultSize', '10g') 
sc = SparkContext("local", "App Name") 

स्रोत: https://spark.apache.org/docs/0.8.1/python-programming-guide.html

पश्चलेख उदाहरण के लिए यदि आप SparkContext बंद करने की आवश्यकता बस का उपयोग करें:

SparkContext.stop(sc) 

और दोगुना करने के लिए वर्तमान सेटिंग्स है कि आप उपयोग कर सकते हैं स्थापित किए गए हैं की जाँच करें:

sc._conf.getAll()