pyspark mapPartitions कैसे कार्य करता है?

Question

तो मैं पाइथन (Pyspark) का उपयोग कर स्पार्क सीखने की कोशिश कर रहा हूं। मैं जानना चाहता हूं कि फ़ंक्शन mapPartitions कार्य कैसे करें। यही वह इनपुट है जो इसे लेता है और यह आउटपुट क्या देता है। मुझे इंटरनेट से कोई उचित उदाहरण नहीं मिला। आइए कहें, मेरे पास एक आरडीडी ऑब्जेक्ट है जिसमें सूचियां हैं, जैसे कि नीचे।

[ [1, 2, 3], [3, 2, 4], [5, 2, 7] ] 

और मैं सभी सूचियों से तत्व 2 निकालना चाहते हैं, मैं कैसे प्राप्त होता है कि mapPartitions का उपयोग कर।

Answer 1

मानचित्र विभाजन विभाजन के तत्वों पर नहीं, विभाजन पर मानचित्र संचालन के रूप में सोचा जाना चाहिए। यह इनपुट वर्तमान विभाजन का सेट है, इसका आउटपुट विभाजन का एक और सेट होगा।

समारोह आप पारित नक्शा अपने RDD

समारोह के एक व्यक्ति तत्व आप पारित mapPartition अपने RDD प्रकार का एक iterable रखना चाहिए लेने के लिए और वापस जाने और कुछ अन्य या एक ही प्रकार के iterable चाहिए।

आपके मामले में आप शायद अभी

def filterOut2FromPartion(list_of_lists): 
    final_iterator = [] 
    for sub_list in list_of_lists: 
    final_iterator.append([x for x in sub_list if x != 2]) 
    return iter(final_iterator) 

filtered_lists = data.mapPartition(filterOut2FromPartion) 

Answer 2

होगा यह yield का उपयोग कर एक जनरेटर समारोह के साथ mapPartitions उपयोग करना आसान हो

def filterOut2(line): 
    return [x for x in line if x != 2] 

filtered_lists = data.map(filterOut2) 

अगर आप mapPartition उपयोग करना चाहता था की तरह कुछ करना चाहता हूँ वाक्यविन्यास:

def filter_out_2(partition): 
    for element in partition: 
     if element != 2: 
      yield element 

filtered_lists = data.mapPartition(filter_out_2)