PySpark

Question

में विस्फोट करना मैं डेटाफ्रेम से बदलना चाहता हूं जिसमें प्रत्येक शब्द के साथ डेटाफ्रेम में शब्दों की सूचियां शामिल हैं।

मैं डेटाफ्रेम में कॉलम पर कैसे विस्फोट कर सकता हूं?

यहां मेरे कुछ प्रयासों के साथ एक उदाहरण दिया गया है जहां आप प्रत्येक कोड लाइन को असम्बद्ध कर सकते हैं और निम्न टिप्पणी में सूचीबद्ध त्रुटि प्राप्त कर सकते हैं। मैं स्पार्क 1.6.1 के साथ पायथन 2.7 में पायस्पार्क का उपयोग करता हूं।

from pyspark.sql.functions import split, explode 
DF = sqlContext.createDataFrame([('cat \n\n elephant rat \n rat cat',)], ['word']) 
print 'Dataset:' 
DF.show() 
print '\n\n Trying to do explode: \n' 
DFsplit_explode = (
DF 
.select(split(DF['word'], ' ')) 
# .select(explode(DF['word'])) # AnalysisException: u"cannot resolve 'explode(word)' due to data type mismatch: input to function explode should be array or map type, not StringType;" 
# .map(explode) # AttributeError: 'PipelinedRDD' object has no attribute 'show' 
# .explode() # AttributeError: 'DataFrame' object has no attribute 'explode' 
).show() 

# Trying without split 
print '\n\n Only explode: \n' 

DFsplit_explode = (
DF 
.select(explode(DF['word'])) # AnalysisException: u"cannot resolve 'explode(word)' due to data type mismatch: input to function explode should be array or map type, not StringType;" 
).show() 

कृपया सलाह

Answer 1

explode और split एसक्यूएल कार्य हैं। दोनों SQL Column पर काम करते हैं। split एक जावा तर्क नियमित अभिव्यक्ति के रूप में एक दूसरे तर्क के रूप में लेता है। आप मनमाने ढंग से खाली स्थान के पर डेटा को अलग करने चाहते हैं तो आप कुछ इस तरह की आवश्यकता होगी:

df = sqlContext.createDataFrame(
    [('cat \n\n elephant rat \n rat cat',)], ['word'] 
) 

df.select(explode(split(col("word"), "\s+")).alias("word")).show() 

## +--------+ 
## | word| 
## +--------+ 
## |  cat| 
## |elephant| 
## |  rat| 
## |  rat| 
## |  cat| 
## +--------+ 

Answer 2

खाली स्थान के पर विभाजित है और यह भी रिक्त लाइनों को हटाने, where खंड को जोड़ने के लिए।

DF = sqlContext.createDataFrame([('cat \n\n elephant rat \n rat cat\nmat\n',)], ['word']) 

>>> (DF.select(explode(split(DF.word, "\s")).alias("word")) 
     .where('word != ""') 
     .show()) 

+--------+ 
| word| 
+--------+ 
|  cat| 
|elephant| 
|  rat| 
|  rat| 
|  cat| 
|  mat| 
+--------+