है यह संभव अन्य लिपि में लिखे डेटा फ्रेम कैश करने के लिए और उसके बाद (क्वेरी) का संदर्भ यह ... मेरा लक्ष्य इस प्रकार है:?एक चिंगारी डेटा फ्रेम कैश और अन्य स्क्रिप्ट में इसे संदर्भ कैसे
में क्वेरी डेटा यह मानक स्पार्क binaries का उपयोग कर संभव नहीं है। स्पार्क DataFrame विशिष्ट SQLContext से जुड़ा हुआ है जिसका उपयोग इसे बनाने के लिए किया गया है और इसके बाहर पहुंच योग्य नहीं है।
ऐसे उपकरण हैं, उदाहरण के लिए अपाचे ज़ेपेल्लिन या डाटाबेसिक्स, जो साझा सत्र का उपयोग विभिन्न सत्रों में इंजेक्शन करते हैं। इस तरह आप विभिन्न सत्रों और अतिथि भाषाओं के बीच अस्थायी तालिकाओं को साझा कर सकते हैं।
spark-jobserver और Apache Ignite सहित अन्य प्लेटफॉर्म हैं, जो वितरित डेटा संरचनाओं को साझा करने के वैकल्पिक तरीकों को प्रदान करते हैं। आप Livy server पर भी एक नज़र डाल सकते हैं।
यह भी देखें: Share SparkContext between Java and R Apps under the same Master
तुम भी एक फ़ाइल/डेटाबेस के लिए वास्तविक डेटा जारी रहती है और इसे फिर से लोड कर सकते हैं। स्पार्क ऐसा करने के तरीके प्रदान करता है ताकि आपको ड्राइवर को डेटा एकत्र करने की आवश्यकता न हो।