स्पार्क

Question

में फ़्लैटनिंग पंक्तियां मैं स्कैला का उपयोग करके स्पार्क के लिए कुछ परीक्षण कर रहा हूं।

test.json:

{"a":1,"b":[2,3]} 

val test = sqlContext.read.json("test.json") 

मैं इसे कैसे निम्न स्वरूप को परिवर्तित कर सकते हैं:

{"a":1,"b":2} 
{"a":1,"b":3} 

Answer 1

हम आम तौर पर json फ़ाइलें जो निम्न उदाहरण की तरह चालाकी से किए जाने की आवश्यकता को पढ़ने के आप explode फ़ंक्शन का उपयोग कर सकते हैं:

scala> import org.apache.spark.sql.functions.explode 
import org.apache.spark.sql.functions.explode 


scala> val test = sqlContext.read.json(sc.parallelize(Seq("""{"a":1,"b":[2,3]}"""))) 
test: org.apache.spark.sql.DataFrame = [a: bigint, b: array<bigint>] 

scala> test.printSchema 
root 
|-- a: long (nullable = true) 
|-- b: array (nullable = true) 
| |-- element: long (containsNull = true) 

scala> val flattened = test.withColumn("b", explode($"b")) 
flattened: org.apache.spark.sql.DataFrame = [a: bigint, b: bigint] 

scala> flattened.printSchema 
root 
|-- a: long (nullable = true) 
|-- b: long (nullable = true) 

scala> flattened.show 
+---+---+ 
| a| b| 
+---+---+ 
| 1| 2| 
| 1| 3| 
+---+---+