एक स्कैला Iterable [tuple] को RDD

Question

में कनवर्ट करना मेरे पास टुपल्स, (स्ट्रिंग, स्ट्रिंग, इंट, डबल) की एक सूची है जिसे मैं स्पार्क आरडीडी में परिवर्तित करना चाहता हूं।

सामान्य रूप से, मैं एक स्पार्क आरडीडी में स्कैला इटेरेबल [(ए 1, ए 2, ए 3, ..., ए)] कैसे परिवर्तित करूं?

Answer 1

ऐसा करने के लिए कुछ तरीके हैं, लेकिन सबसे स्ट्रेट आगे रास्ता सिर्फ स्पार्क संदर्भ का उपयोग करना है:

import org.apache.spark._ 
import org.apache.spark.rdd._ 
import org.apache.spark.SparkContext._ 

sc.parallelize(YourIterable.toList) 

मैं sc.Parallelize सूची में रूपांतरण की आवश्यकता है, लेकिन यह आपके संरचना सुरक्षित करेगा , इस प्रकार आपको अभी भी एक आरडीडी [स्ट्रिंग, स्ट्रिंग, इंट, डबल]