स्पार्क में कौन सा फ़ंक्शन दो आरडीडी को कुंजी

Question

द्वारा गठबंधन करने के लिए उपयोग किया जाता है, मान लें कि मेरे पास निम्न कुंजी-जोड़ी मानों के साथ निम्नलिखित दो आरडीडी हैं।

rdd1 = [ (key1, [value1, value2]), (key2, [value3, value4]) ] 

और

rdd2 = [ (key1, [value5, value6]), (key2, [value7]) ] 

अब

, मैं उन्हें, कुंजी मान से शामिल होने के लिए तो उदाहरण के लिए मैं निम्नलिखित

ret = [ (key1, [value1, value2, value5, value6]), (key2, [value3, value4, value7]) ] 

वापस जाने के लिए मुझे लगता है मैं यह कैसे कर सकते चाहते हैं, में चाहते हैं पायथन या स्कैला का उपयोग कर स्पार्क? एक तरीका है शामिल होने का उपयोग करना, लेकिन जुड़ना टुपल के अंदर एक ट्यूपल बना देगा। लेकिन मैं प्रति कुंजी मूल्य जोड़ी केवल एक ट्यूपल करना चाहता हूं।

Answer 1

मैं दो आरडीडी संघों को कम करता हूं और मूल्यों को मर्ज करने के लिए बाईकी को कम करता हूं।

(rdd1 union rdd2).reduceByKey(_ ++ _) 

Answer 2

बस join और उसके बाद map परिणामी rdd का उपयोग करें।

rdd1.join(rdd2).map(case (k, (ls, rs)) => (k, ls ++ rs))