स्पार्क सत्र से जावास्कार्क कॉन्टेक्स्ट प्राप्त करें

Question

मैं अपने स्पार्क एप्लिकेशन को चलाने के लिए SparkSession का उपयोग कर रहा हूं क्योंकि मैं बहुत सारी स्पार्क-एसक्यूएल सुविधाओं का उपयोग करता हूं। मैं सूची से आरडीडी बनाने के लिए JavaSparkContext का उपयोग करना चाहता हूं। लेकिन सत्र के माध्यम से मैं केवल साधारणSparkContext प्राप्त कर सकता हूं। क्या इस दिशा में संदर्भ को बदलने का कोई तरीका है?

Answer 1

SparkContext का निर्धारण करने के बाद, आप इस्तेमाल कर सकते हैं:

SparkContext sc = ... 
JavaSparkContext jsc = JavaSparkContext.fromSparkContext(sc); 

यह आपको JavaSparkContext का नया उदाहरण वापस आ जाएगी, लेकिन कोई समस्या नहीं जब तक आप सिर्फ एक SparkContext के सक्रिय उदाहरण बनाए रखने नहीं है।

Answer 2

हाँ, आप ऐसा कर सकते इस तरह चिंगारी सत्र के साथ:

val spark = SparkSession.builder() 
     .config(sparkConf) 
     .getOrCreate() 

    val jsc = new JavaSparkContext(spark.sparkContext) 

या जावा में, यह होगा:

SparkSession spark = SparkSession.builder().config(sparkConf).getOrCreate(); 
JavaSparkContext jsc = new JavaSparkContext(spark.sparkContext());