अपाचे स्पार्क नोड का एक एम्बेडेड उदाहरण शुरू करना संभव है?

Question

मैं अपने जावा ऐप में एम्बेडेड एक स्टैंडअलोन अपाचे स्पार्क क्लस्टर का एक उदाहरण शुरू करना चाहता हूं। मैंने अपनी वेबसाइट पर कुछ दस्तावेज खोजने की कोशिश की लेकिन अभी तक नहीं देखा।

क्या यह संभव है? आप स्पार्क एक एम्बेडेड रास्ते में एक "स्थानीय" के साथ उपयोग कर सकते हैं -

Answer 1

आप स्थानीय मोड में SparkContext बना सकते हैं, तो आप सिर्फ SparkConf करने के लिए एक चिंगारी मास्टर यूआरएल

val sparkConf = new SparkConf(). 
    setMaster("local[2]"). 
    setAppName("MySparkApp") 

val sc = new SparkContext(sparkConf) 

Answer 2

हाँ के रूप में प्रदान करने के लिए "स्थानीय" की जरूरत है मास्टर।

SparkConf sparkConf = new SparkConfig(); 
sparkConf.setMaster("local[8]"); // local, using 8 cores (you can vary the number) 
sparkConf.setAppName("MyApp"); 
SparkContext sc = new SparkContext(sparkConf); 

यह आपके JVM के भीतर स्पार्क चलाएगा।