स्पार्क - मानचित्र के भीतर फ़िल्टर

Question

मैं नक्शा समारोह के अंदर फ़िल्टर करने की कोशिश कर रहा हूं। मूल रूप से जिस तरह से मैं क्लासिक मानचित्र-कम में करूँगा वह है कि फ़िल्टर मानदंडों को पूरा करते समय मैपर संदर्भ में कुछ भी लिख नहीं पाएगा। मैं स्पार्क के साथ समान कैसे प्राप्त कर सकता हूं? मैं मानचित्र फ़ंक्शन से शून्य वापस नहीं कर सकता क्योंकि यह शफल चरण में विफल रहता है। मैं या तो फ़िल्टर फ़ंक्शन का उपयोग कर सकता हूं लेकिन यह डेटा सेट के अनावश्यक पुनरावृत्ति प्रतीत होता है जबकि मैं मानचित्र के दौरान एक ही कार्य कर सकता हूं। मैं डमी कुंजी के साथ आउटपुट आउटपुट करने का भी प्रयास कर सकता हूं लेकिन यह एक खराब कामकाज है।

rdd.flatMap:

Answer 1

कुछ ही विकल्प हैं rdd.flatMap RDD में एक Traversable संग्रह समतल होगा। तत्वों को चुनने के लिए, आप आमतौर पर परिवर्तन के परिणामस्वरूप Option वापस कर देंगे।

rdd.flatMap(elem => if (filter(elem)) Some(f(elem)) else None) 

rdd.collect(pf: PartialFunction) आप एक आंशिक समारोह है कि फिल्टर करने और मूल RDD से तत्वों बदल सकता है प्रदान करने के लिए अनुमति देता है। आप इस विधि के साथ मेल खाने वाले पैटर्न की सभी शक्तियों का उपयोग कर सकते हैं।

rdd.collect{case t if (cond(t)) => f(t)} 
rdd.collect{case t:GivenType => f(t)} 

डीन Wampler टिप्पणी में उल्लेख के रूप में, rdd.map(f(_)).filter(cond(_)) रूप में अच्छा और भी तेजी से अन्य अधिक 'संक्षिप्त' जैसा कि ऊपर उल्लेख विकल्पों की तुलना में हो सकता है।

जहां f एक परिवर्तन (या मानचित्र) फ़ंक्शन है।