केस-क्लास-आधारित RDD को डेटाफ्रेम में कैसे परिवर्तित करें?

Question

Spark documentation से पता चलता एक RDD से एक DataFrame बनाने का तरीका, स्काला मामले वर्गों का उपयोग करना एक स्कीमा अनुमान लगाने के लिए। मैं इस अवधारणा को sqlContext.createDataFrame(RDD, CaseClass) का उपयोग करके पुन: पेश करने की कोशिश कर रहा हूं, लेकिन मेरा डेटाफ्रेम खाली हो गया है। यहाँ मेरी स्काला कोड है:

// sc is the SparkContext, while sqlContext is the SQLContext. 

// Define the case class and raw data 
case class Dog(name: String) 
val data = Array(
    Dog("Rex"), 
    Dog("Fido") 
) 

// Create an RDD from the raw data 
val dogRDD = sc.parallelize(data) 

// Print the RDD for debugging (this works, shows 2 dogs) 
dogRDD.collect().foreach(println) 

// Create a DataFrame from the RDD 
val dogDF = sqlContext.createDataFrame(dogRDD, classOf[Dog]) 

// Print the DataFrame for debugging (this fails, shows 0 dogs) 
dogDF.show() 

उत्पादन मैं दिखाई दे रही है है:

Dog(Rex) 
Dog(Fido) 
++ 
|| 
++ 
|| 
|| 
++ 

मैं क्या याद आ रही है?

धन्यवाद!

Answer 1

आपको बस सिर्फ

val dogDF = sqlContext.createDataFrame(dogRDD) 

दूसरा पैरामीटर जावा एपीआई का हिस्सा है और आप कक्षा जावा सेम सम्मेलन (getters/setters) इस प्रकार की उम्मीद है। आपका मामला वर्ग इस सम्मेलन है, इसलिए कोई संपत्ति का पता चला है, कि कोई भी कॉलम के साथ खाली DataFrame की ओर जाता है का पालन नहीं करता।

Answer 2

आप मामले वर्ग इस प्रकार toDF का उपयोग कर उदाहरणों में से एक Seq से सीधे एक DataFrame बना सकते हैं:

val dogDf = Seq(Dog("Rex"), Dog("Fido")).toDF 

Answer 3

प्रकरण कक्षा दृष्टिकोण क्लस्टर मोड में काम नहीं करेगा। यह मामला वर्ग आप परिभाषित करने के लिए ClassNotFoundException दे देंगे।

यह एक RDD[Row] कन्वर्ट और StructField के साथ अपने RDD की स्कीमा निर्धारित करते हैं और फिर createDataFrame

तरह

val rdd = data.map { attrs => Row(attrs(0),attrs(1)) } 

val rddStruct = new StructType(Array(StructField("id", StringType, nullable = true),StructField("pos", StringType, nullable = true))) 

sqlContext.createDataFrame(rdd,rddStruct) 

toDF() अभ्यस्त काम या तो