स्पार्क आरडीडी मेमोरी में क्या है या नहीं?

Question

मेरे पास org.apache.spark.rdd.RDD [MyClass] का एक उदाहरण है। मैं प्रोग्रामेटिक रूप से जांच कैसे कर सकता हूं कि उदाहरण जारी है \ inmemory?

Answer 1

आप RDD.getStorageLevel चाहते हैं। यदि खाली हो तो StorageLevel.None वापस आ जाएगा। हालांकि यह केवल तभी होता है जब इसे कैशिंग के लिए चिह्नित किया जाता है या नहीं। आप वास्तविक स्थिति चाहते हैं तो आप डेवलपर API का उपयोग कर सकते sc.getRDDStorageInfo या sc.getPersistentRDD

Answer 2

आप अगर यह स्मृति में है या नहीं इस प्रकार की जाँच करने के rdd.getStorageLevel.useMemory कॉल कर सकते हैं: अनुसूचित जाति के लिए

scala> myrdd.getStorageLevel.useMemory 
res3: Boolean = false 

scala> myrdd.cache() 
res4: myrdd.type = MapPartitionsRDD[2] at filter at <console>:29 

scala> myrdd.getStorageLevel.useMemory 
res5: Boolean = true