स्पार्क डेटाफ्रेम और कई कॉलम का नाम बदलना (जावा)

Question

क्या कई बार dataFrame.withColumnRenamed() पर कॉल करने के बजाय दिए गए स्पार्कएसक्यूएल DataFrame के एक ही समय में सभी या एकाधिक कॉलम का उपसर्ग या नाम बदलने का कोई अच्छा तरीका है?

एक उदाहरण होगा यदि मैं परिवर्तनों का पता लगाना चाहता हूं (पूर्ण बाहरी शामिल होने का उपयोग कर)। तब मुझे एक ही संरचना के साथ दो DataFrame एस के साथ छोड़ दिया गया है।

Answer 1

मैं इसे करने के लिए चयन() विधि का उपयोग करने का सुझाव देता हूं। वास्तव में CollumnRenamed() विधि के साथ चयन() स्वयं का उपयोग करता है। यहाँ उदाहरण कैसे एकाधिक स्तंभों का नाम बदलने के लिए है:

import org.apache.spark.sql.functions._ 

val someDataframe: DataFrame = ... 

val initialColumnNames = Seq("a", "b", "c") 
val renamedColumns = initialColumnNames.map(name => col(name).as(s"renamed_$name")) 
someDataframe.select(renamedColumns : _*) 

Answer 2

मैं heve सिर्फ जवाब

df1_r = df1.select(*(col(x).alias(x + '_df1') for x in df1.columns)) 

stackoverflow here पर

(स्वीकार किए जाते हैं जवाब के अंत देखें)

Answer 3

हालांकि यह जवाब नहीं देता पाया अपने सीधे सवाल करें, लेकिन मैं हमेशा स्तंभ नामों को एक-एक करके अद्यतन करता हूं। यह केवल तभी अपडेट DF मेटाडाटा के बाद से, एक के बाद एक को अद्यतन करने के स्तंभ नाम पर कोई नुकसान (कोई प्रदर्शन प्रभाव), उदा .:

for c in DF.columns: 
    new_c = c.strip().replace(' ','_') 
    DF = DF.withColumnRenamed(c, new_c) 

Answer 4

or (a <- 0 to newsales.columns.length - 1) 
{ 
var new_c = newsales.columns(a).replace('(','_').replace(')',' ').trim 
newsales_var = newsales.withColumnRenamed(newsales.columns(a),new_c) 
}