स्पार्क खोल में परिभाषित आरडीडी की सूची कैसे करें?

Question

दोनों "स्पार्क-शैल" या "पिसपार्क" गोले में, मैंने कई आरडीडी बनाए लेकिन मुझे कोई रास्ता नहीं मिला जिसके माध्यम से मैं स्पार्क शैल के अपने वर्तमान सत्र में सभी उपलब्ध आरडीडी सूचीबद्ध कर सकता हूं?

Answer 1

अजगर में आप बस प्रकार द्वारा फ़िल्टर करने globals कोशिश कर सकते हैं:

def list_rdds(): 
    from pyspark import RDD 
    return [k for (k, v) in globals().items() if isinstance(v, RDD)] 

list_rdds() 
# [] 

rdd = sc.parallelize([]) 
list_rdds() 
# ['rdd'] 

स्काला आरईपीएल में आप एक समान तरीके से $intp.definedTerms/$intp.typeOfTerm उपयोग करने के लिए सक्षम होना चाहिए।