के लिए निष्पादक मेमोरी (और अन्य कॉन्फ़िगरेशन) बदलें अपाचे स्पार्क शैल के लिए निष्पादक स्मृति (और अन्य कॉन्फ़िगरेशन) को कैसे बदलें?स्पार्क शैल
विशेष रूप से मैं स्पार्क-खोल को फ्लैट देना चाहता हूं, जैसे -Dspark-cores-max = 12 जब मैं इसे शुरू करता हूं ताकि स्पार्क खोल में मेरी नौकरियां उन कॉन्फ़िगरेशन सेटिंग्स का उपयोग करें।
चिंगारी के रूप में 1.2.0।
spark-shell --driver-memory 10G --executor-memory 15G --executor-cores 8
अन्य विकल्प आप निम्न कमांड खोल चिंगारी
spark-shell --help
DEPRECATED उपयोग को स्वीकार कर लिया उत्तर
इस तरह एक स्क्रिप्ट लिखें:
#!/bin/bash
export SPARK_JAVA_OPTS="$*"
MASTER=spark://ec2-99-99-99-99:7077 /usr/share/spark/bin/spark-shell
/usr/share/spark/bin/spark-shell जहां लंबे समय चिंगारी से खोल प्रारंभिक स्क्रिप्ट है करने के लिए पथ होना चाहिए। मेरे क्लस्टर पर/usr/local/bin/में एक और स्क्रिप्ट थी, लेकिन यह ऊपर की तरह कुछ ही पंक्तियां थीं और SPARK_JAVA_OPTS हार्डकोडेड थीं।
वैसे भी, उदाहरण के उपयोग: आप चिंगारी-खोल के लिए निम्न तर्क देकर memory और cores सेट कर सकते हैं
my-spark-starter-script -Dspark-cores-max=12 -Dspark.executor.memory=26000m
आप स्टैंडअलोन मोड (1 नोड) पर स्थापित चिंगारी पर चिंगारी से खोल चला रहे हैं दे सकते हैं देखने के लिए, का उपयोग
./bin/spark-shell --driver-memory 4g
यदि आप क्लस्टर (2+ नोड्स) पर स्पार्क पर स्पार्क-खोल चला रहे हैं, तो
का उपयोग करें4 जी 4 जीबी है।