अंतर। ड्रॉप() और फिल्टर (col.isNotNull) (अपाचे स्पार्क)

Question

वहाँ df.na().drop() और df.filter(df.col("onlyColumnInOneColumnDataFrame").isNotNull() && !df.col("onlyColumnInOneColumnDataFrame").isNaN()) के बीच अर्थ विज्ञान में कोई अंतर है जहां dfअपाचे स्पार्कDataframe है?

या मैं इसे एक बग के रूप में विचार करेगा अगर पहले एक बाद में null वापस नहीं करता है (नहीं एक स्ट्रिंग अशक्त, लेकिन बस एक null मूल्य) स्तंभ onlyColumnInOneColumnDataFrame और दूसरा एक करता है?

संपादित करें: !isNaN() भी जोड़ा गया। onlyColumnInOneColumnDataFrame दिए गए Dataframe में एकमात्र कॉलम है। मान लें कि इसका प्रकार Integer है।

Answer 1

df.na.drop() के साथ आप वाली पंक्तियों को शून्य या NaN मानों को छोड़ दें।

df.filter(df.col("onlyColumnInOneColumnDataFrame").isNotNull()) के साथ आप उन पंक्तियों को छोड़ दें जिनमें केवल onlyColumnInOneColumnDataFrame कॉलम में शून्य है।

यदि आप एक ही चीज़ प्राप्त करना चाहते हैं, तो यह df.na.drop(["onlyColumnInOneColumnDataFrame"]) होगा।

Answer 2

मुझे नहीं पता कि आपको अपना जवाब मिल गया है या नहीं। लेकिन इस काम करना चाहिए:

df.na.drop(subset=["onlyColumnInOneColumnDataFrame"]) 

या यहाँ तक कि:

df.na.drop(how = 'any')