एक csv

Question

करने के लिए एक RDD लेखन मैं एक RDD रूप

org.apache.spark.rdd.RDD[(String, Array[String])] 

मैं एक csv फ़ाइल में इस लिखना चाहते हैं की है जो की है। कृपया मुझे सुझाव दें कि यह कैसे किया जा सकता है।

myrdd.saveAsTextFile करना नीचे आउटपुट देता है।

(875,[Ljava.lang.String;@53620618) 
(875,[Ljava.lang.String;@487e3c6c) 

Answer 1

आप कोशिश कर सकते हैं:

myrdd.map(a => a._1 + "," + a._2.mkString(",")).saveAsTextFile 

Answer 2

अन्य जवाब से बचने के लिए पूरा नहीं करता। शायद यह अधिक सामान्य समाधान?

import au.com.bytecode.opencsv.CSVWriter 
import java.io.StringWriter 
import scala.collection.JavaConversions._ 
val toCsv = (a: Array[String]) => { 
    val buf = new StringWriter 
    val writer = new CSVWriter(buf) 
    writer.writeAll(List(a)) 
    buf.toString.trim 
} 
rdd.map(t => Array(t._1) ++ t._2) 
    .map(a => toCsv(a)) 
    .saveAsTextFile(dest)