स्पार्क डेटाफ्रेम फ़िल्टर

Question

val df = sc.parallelize(Seq((1,"Emailab"), (2,"Phoneab"), (3, "Faxab"),(4,"Mail"),(5,"Other"),(6,"MSL12"),(7,"MSL"),(8,"HCP"),(9,"HCP12"))).toDF("c1","c2") 

+---+-------+ 
| c1|  c2| 
+---+-------+ 
| 1|Emailab| 
| 2|Phoneab| 
| 3| Faxab| 
| 4| Mail| 
| 5| Other| 
| 6| MSL12| 
| 7| MSL| 
| 8| HCP| 
| 9| HCP12| 
+---+-------+ 

मैं उन रिकॉर्ड्स को फ़िल्टर करना चाहता हूं जिनमें कॉलम 'सी 2' या तो 'एमएसएल' या 'एचसीपी' के पहले 3 अक्षर हैं।

तो आउटपुट नीचे जैसा होना चाहिए।

+---+-------+ 
| c1|  c2| 
+---+-------+ 
| 1|Emailab| 
| 2|Phoneab| 
| 3| Faxab| 
| 4| Mail| 
| 5| Other| 
+---+-------+ 

क्या कोई इस पर सहायता कर सकता है?

मुझे पता था कि df.filter($"c2".rlike("MSL")) - यह रिकॉर्ड चुनने के लिए है लेकिन रिकॉर्ड को कैसे बाहर निकालना है। ?

संस्करण: स्पार्क 1.6.2 स्काला: 2,10

Answer 1

df.filter(not(
    substring(col("c2"), 0, 3).isin("MSL", "HCP")) 
    ) 

Answer 2

val df1 = df.filter(not(df("c2").rlike("MSL"))&&not(df("c2").rlike("HCP")))

यह काम किया।

Answer 3

यह भी काम करता है। संक्षेप और एसक्यूएल के समान ही।

df.filter("c2 not like 'MSL%' and c2 not like 'HCP%'").show 
+---+-------+ 
| c1|  c2| 
+---+-------+ 
| 1|Emailab| 
| 2|Phoneab| 
| 3| Faxab| 
| 4| Mail| 
| 5| Other| 
+---+-------+