स्पार्क एसक्यूएल: कन्वर्ट RDD [GenericData.Record] DataFrame को

Question

शायद इस सवाल का एक सा सार लग सकता है, यहाँ यह है:

val originalAvroSchema : Schema = // read from a file 
val rdd : RDD[GenericData.Record] = // From some streaming source 

// Looking for a handy: 
val df: DataFrame = rdd.toDF(schema) 

मैं spark-avro का पता लगाने, लेकिन यह समर्थन केवल एक फ़ाइल से पढ़ने का, नहीं है मौजूदा RDD से।

Answer 1

import com.databricks.spark.avro._ 

val sqlContext = new SQLContext(sc) 
val rdd : RDD[MyAvroRecord] = ... 
val df = rdd.toAvroDF(sqlContext)