पायस्पार्क डेटाफ्रेम असामान्य स्ट्रिंग प्रारूप को टाइमस्टैम्प

Question

में परिवर्तित करता है मैं स्पार्क 1.5.0 के माध्यम से पीईएसपार्क का उपयोग कर रहा हूं। मेरे पास डेटाटाइम मानों के लिए कॉलम की पंक्तियों में असामान्य स्ट्रिंग प्रारूप है। यह इस तरह दिखता है:

Row[(daytetime='2016_08_21 11_31_08')] 

वहाँ एक रास्ता एक टाइमस्टैम्प में इस अपरंपरागत yyyy_mm_dd hh_mm_dd प्रारूप कन्वर्ट करने के लिए है? कुछ है कि अंततः

df = df.withColumn("date_time",df.daytetime.astype('Timestamp')) 

की तर्ज पर आ सकता है मैंने सोचा था regexp_replace की तरह है कि स्पार्क एसक्यूएल कार्यों काम कर सकता था, लेकिन निश्चित रूप से मैं तारीख आधा और _: साथ में - साथ _ प्रतिस्थापित करने की आवश्यकता समय हिस्सा मैं सोच रहा था कि मैं substring का उपयोग करके कॉलम को 2 में विभाजित कर सकता हूं और समय के अंत से पिछड़ा हुआ हूं। फिर 'regexp_replace' अलग से करें, फिर concatenate। लेकिन यह कई परिचालनों में प्रतीत होता है? क्या कोई आसान तरीका है?

Answer 1

स्पार्क> = 2,2

from pyspark.sql.functions import to_timestamp 

(sc 
    .parallelize([Row(dt='2016_08_21 11_31_08')]) 
    .toDF() 
    .withColumn("parsed", to_timestamp("dt", "yyyy_MM_dd hh_mm_ss")) 
    .show(1, False)) 

## +-------------------+-------------------+ 
## |dt     |parsed    | 
## +-------------------+-------------------+ 
## |2016_08_21 11_31_08|2016-08-21 11:31:08| 
## +-------------------+-------------------+ 

स्पार्क < 2,2

यह कुछ भी नहीं है कि unix_timestamp को संभाल नहीं कर सकते हैं:

from pyspark.sql import Row 
from pyspark.sql.functions import unix_timestamp 

(sc 
    .parallelize([Row(dt='2016_08_21 11_31_08')]) 
    .toDF() 
    .withColumn("parsed", unix_timestamp("dt", "yyyy_MM_dd hh_mm_ss") 
    .cast("double") 
    .cast("timestamp")) 
    .show(1, False)) 

## +-------------------+---------------------+ 
## |dt     |parsed    | 
## +-------------------+---------------------+ 
## |2016_08_21 11_31_08|2016-08-21 11:31:08.0| 
## +-------------------+---------------------+