pyspark डेटाफ्रेम में कॉलम को कैसे हटाएं

Question

>>> a 
DataFrame[id: bigint, julian_date: string, user_id: bigint] 
>>> b 
DataFrame[id: bigint, quan_created_money: decimal(10,0), quan_created_cnt: bigint] 
>>> a.join(b, a.id==b.id, 'outer') 
DataFrame[id: bigint, julian_date: string, user_id: bigint, id: bigint, quan_created_money: decimal(10,0), quan_created_cnt: bigint] 

दो id: bigint हैं और मैं एक को हटाना चाहता हूं। मैं कैसे कर सकता हूँ?

Answer 1

आप या तो स्पष्ट रूप से दिखाई देने वाले कॉलम रखने के लिए है, इसलिए की तरह चाहते हैं नाम दे सकते हैं:

keep = [a.id, a.julian_date, a.user_id, b.quan_created_money, b.quan_created_cnt] 

या एक अधिक सामान्य दृष्टिकोण में आप एक सूची समझ के माध्यम से एक विशिष्ट एक को छोड़कर सभी स्तंभ शामिल होगा।

d = a.join(b, a.id==b.id, 'outer').select(*keep) 

Answer 2

हो सकता है कि विषय से दूर एक छोटा सा है, लेकिन यहां का उपयोग कर समाधान किया जाता है:

keep = [a[c] for c in a.columns] + [b[c] for c in b.columns if c != 'id'] 

अंत में आप अपने में शामिल होने के परिणाम पर एक चयन करें: इस तरह उदाहरण के लिए (b से id स्तंभ को छोड़कर) स्काला। अपने oldDataFrame से कॉलम नामों के Array बनाएं और उन कॉलम को हटाएं जिन्हें आप ("colExclude") छोड़ना चाहते हैं। फिर Array[Column] से select पर जाएं और इसे अनपैक करें।

val columnsToKeep: Array[Column] = oldDataFrame.columns.diff(Array("colExclude")) 
               .map(x => oldDataFrame.col(x)) 
val newDataFrame: DataFrame = oldDataFrame.select(columnsToKeep: _*) 

Answer 3

स्पार्क दस्तावेज पढ़ना मुझे एक आसान समाधान मिला।

स्पार्क के संस्करण 1.4 के बाद से एक कार्य drop(col) है जिसका उपयोग डेटाफ्रेम पर pyspark में किया जा सकता है।

आप इसे दो तरीके

1. df.drop('age').collect()
2. df.drop(df.age).collect()

Pyspark Documentation - Drop

Answer 4

इस प्रयोक्ता "select" करने के लिए है और लगता है कि आपने प्राप्त कर सकते हैं करने के लिए एक आसान तरीका है में उपयोग कर सकते हैं dataframe,के लिए सभी columns की एक सूची, df.columns

drop_list = ['a column', 'another column', ...] 

df.select([column for column in df.columns if column not in drop_list])