स्कैला में सीएसवी को डेटाफ्रेम कैसे निर्यात करें?

Question

स्कैला का उपयोग कर सीएसवी फ़ाइल में स्पार्क के डेटाफ्रेम को मैं कैसे निर्यात कर सकता हूं?

Answer 1

ऐसा करने का सबसे आसान और सबसे अच्छा तरीका spark-csv लाइब्रेरी का उपयोग करना है। आप प्रदत्त लिंक में प्रलेखन की जांच कर सकते हैं और here डाटाफ्रेम से डेटा को लोड और सहेजने का संक्षिप्त उदाहरण है।

संहिता (स्पार्क 1.4 +):

dataFrame.write.format("com.databricks.spark.csv").save("myFile.csv") 

संपादित करें:

स्पार्क, जबकि csv डेटा बचत अंशकालिक फ़ाइलें बनाता है यदि आप एक में अंशकालिक फ़ाइलें मर्ज करना चाहते हैं एकल csv, निम्न देखें:

Merge Spark's CSV output folder to Single File

Answer 2

समाधान से अधिक सीएसवी निर्यात कई विभाजन के रूप में। मुझे zero323 द्वारा stackoverflow page में एक और समाधान मिला जो एक एकल सीएसवी फ़ाइल में डेटाफ्रेम निर्यात करता है।

df.coalesce(1) 
    .write.format("com.databricks.spark.csv") 
    .option("header", "true") 
    .save("/your/location/mydata.csv")