स्पार्क एसक्यूएल फ़िल्टर एकाधिक फ़ील्ड्स

Question

स्कैला एपीआई में एकाधिक कॉलम पर फ़िल्टर करने के लिए कोरेंट सिंटैक्स क्या है? मैं इस तरह कुछ करना चाहते हैं:

dataFrame.filter($"col01" === "something" && $"col02" === "something else") 

या

dataFrame.filter($"col01" === "something" || $"col02" === "something else") 

संपादित करें:

यह मेरा मूल कोड कैसा दिखता है। सब कुछ एक स्ट्रिंग के रूप में आता है।

df.select($"userID" as "user", $"itemID" as "item", $"quantity" cast("int"), $"price" cast("float"), $"discount" cast ("float"), sqlf.substring($"datetime", 0, 10) as "date", $"group") 
    .filter($"item" !== "" && $"group" !== "-1") 

Answer 1

मुझे लगता है कि मैं देखता हूं कि समस्या क्या है। किसी कारण से, स्पार्क दो की अनुमति नहीं देता है! = 0 के समान फ़िल्टर। फ़िल्टर स्पार्क स्रोत कोड में परिभाषित करने की आवश्यकता है।

अब आप अपने कोड काम करने के लिए, तो आप इस का उपयोग कर सकते एक ही बयान

df.filter($"item" !== "").filter($"group" !== "-1").select(....) 

यह लिंक here में फिल्टर

df.filter(col("item").notEqual("") && col("group").notEqual("-1")) 

या दो फिल्टर का उपयोग करने के लिए अलग अलग चिंगारी तरीकों के साथ कर सकते हैं।