फ़िल्टर स्पार्क डेटाफ्रेम किसी अन्य डेटाफ्रेम पर आधारित है जो ब्लैकलिस्ट मानदंड

Question

निर्दिष्ट करता है मेरे पास एक बड़ा डेटाटाम (एकाधिक कॉलम और पंक्तियों के अरबों) और एक छोटा डेटाटाम (एकल कॉलम और 10,000 पंक्तियां) है।

मैं जब भी largeDataFrame में some_identifier स्तंभ smallDataFrame में पंक्तियों से मेल खाता largeDataFrame से सभी पंक्तियों को फ़िल्टर करना चाहते हैं।

largeDataFrame

some_idenfitier,first_name 
111,bob 
123,phil 
222,mary 
456,sue 

smallDataFrame

some_identifier 
123 
456 

desiredOutput

111,bob 
222,mary 

यहाँ मेरी बदसूरत समाधान है:

यहाँ एक उदाहरण है।

val smallDataFrame2 = smallDataFrame.withColumn("is_bad", lit("bad_row")) 
val desiredOutput = largeDataFrame.join(broadcast(smallDataFrame2), Seq("some_identifier"), "left").filter($"is_bad".isNull).drop("is_bad") 

क्या कोई क्लीनर समाधान है?

Answer 1

आपको इस मामले में leftanti शामिल होने की आवश्यकता होगी।

बाईं विरोधी में शामिल होने के एक के विपरीत अर्द्ध में शामिल होने के छोड़ दिया है।

यह किसी कुंजी के अनुसार बाईं तालिका में सही तालिका से डेटा को फ़िल्टर कर देता:

largeDataFrame 
    .join(smallDataFrame, Seq("some_identifier"),"leftanti") 
    .show 
// +---------------+----------+ 
// |some_identifier|first_name| 
// +---------------+----------+ 
// |   222|  mary| 
// |   111|  bob| 
// +---------------+----------+