एक ग्लोम क्या है? यह नक्शापार्टिशन से अलग कैसे है?

Question

मैं आरडीडी पर glom() विधि भर आया हूं। प्रलेखन

वापसी एक RDD एक सरणी

glom विभाजन भर में डेटा शफ़ल करता है या यह केवल एक सरणी के रूप में विभाजन डेटा वापस करता है में प्रत्येक विभाजन के भीतर सभी तत्वों वालों द्वारा बनाई अनुसार? बाद के मामले में, मेरा मानना ​​है कि इसे mapPartitions का उपयोग करके हासिल किया जा सकता है।

मैं यह भी जानना चाहूंगा कि glom से कोई उपयोग करने वाले मामले हैं या नहीं।

Answer 1

glom विभाजन

नहीं भर में डेटा शफ़ल करता है, यह इस दूसरी स्थिति है, तो ऐसा नहीं करता

मुझे विश्वास है कि एक ही mapPartitions का उपयोग कर

प्राप्त किया जा सकता

यह कर सकता है:

rdd.mapPartitions(iter => Iterator(_.toArray)) 

लेकिन एक ही चीज़ map, flatMap या filter जैसे किसी भी गैर शफल परिवर्तन पर लागू होती है।

यदि ग्लोब से लाभ उठाने वाले कोई भी मामले हैं।

कोई भी स्थिति जहां आपको एक से अधिक बार ट्रैवर्स करने योग्य रूप में विभाजन डेटा तक पहुंचने की आवश्यकता होती है।