स्पार्क एसक्यूएल विंडो फ़ंक्शन अंतराल

Question

मैं स्पार्क एसक्यूएल, स्कैला में स्पार्क डेटाफ्रेम के लिए विंडो स्लाइड फ़ंक्शन देख रहा हूं।

मेरे पास कॉलम Col1, Col1, Col1, दिनांक के साथ डेटाफ्रेम है।

Col1 Col2 Col3 date  volume new_col 
         201601 100.5 
         201602 120.6 100.5 
         201603 450.2 120.6 
         201604 200.7 450.2 
         201605 121.4 200.7` 

अब मैं नाम (new_col) के साथ एक पंक्ति, नीचे slided के रूप में ऊपर दिखाए गए एक नया स्तंभ जोड़ना चाहते हैं।

मैंने विंडो फ़ंक्शन का उपयोग करने के लिए विकल्प के नीचे प्रयास किया।

val windSldBrdrxNrx_df = df.withColumn("Prev_brand_rx", lag("Prev_brand_rx",1)) 

क्या कोई मेरी मदद कर सकता है कि यह कैसे करें।

Answer 1

आप सही ढंग से सब तुम्हें याद कर रहे हैं over(window expression)lag

val df = sc.parallelize(Seq((201601, 100.5), 
    (201602, 120.6), 
    (201603, 450.2), 
    (201604, 200.7), 
    (201605, 121.4))).toDF("date", "volume") 

val w = org.apache.spark.sql.expressions.Window.orderBy("date") 

import org.apache.spark.sql.functions.lag 

val leadDf = df.withColumn("new_col", lag("volume", 1, 0).over(w)) 

leadDf.show() 

+------+------+-------+ 
| date|volume|new_col| 
+------+------+-------+ 
|201601| 100.5| 0.0| 
|201602| 120.6| 100.5| 
|201603| 450.2| 120.6| 
|201604| 200.7| 450.2| 
|201605| 121.4| 200.7| 
+------+------+-------+ 

पर यह कोड स्पार्क खोल पर चलाया गया था है 2.0.2

Answer 2

आप दो संकुल नीचे आयात कर सकते हैं, जो अंतराल के मुद्दे को हल करेंगे निर्भरता।

import org.apache.spark.sql.functions.{lead, lag} 
import org.apache.spark.sql.expressions.Window