Pyspark 'PipelinedRDD' ऑब्जेक्ट कोई विशेषता 'शो'

Question

है मैं मैं पता लगाना चाहते हैं क्या df में सभी आइटम जो DF1 में नहीं हैं, df में नहीं

df =sc.parallelize([1,2,3,4 ,5 ,6,7,8,9]) 
    df1=sc.parallelize([4 ,5 ,6,7,8,9,10]) 
    df2 = df.subtract(df1) 
    df2.show() 
    df3 = df1.subtract(df) 
    df3.show() 

बस चाहते भी DF1 में आइटम लेकिन यह देखने के लिए कि क्या मैं कार्य को अच्छी तरह समझता हूं, परिणाम देखने के लिए। लेकिन यह त्रुटि 'PipelinedRDD' ऑब्जेक्ट में कोई विशेषता नहीं है 'शो' कोई सुझाव?

Answer 1

print(df2.take(10)) 

df.show() केवल चिंगारी DataFrame के लिए है

Answer 2

यह पता प्रिंट है कि यह एक RDD है और उस प्रकार के रूप में हम कर सकते expect.That के मूल्यों का एक PipelinedRDD नहीं एक सूची है, क्योंकि हम एक प्रदर्शन नहीं किया है अभी तक कार्रवाई, हमने केवल एक परिवर्तन किया है।

कि

df3.count() 

तो आप

df3.show()