स्पार्क println खोने() stdout

Question

मैं निम्नलिखित कोड है पर:

val blueCount = sc.accumulator[Long](0) 
val output = input.map { data => 
    for (value <- data.getValues()) { 
    if (record.getEnum() == DataEnum.BLUE) { 
     blueCount += 1 
     println("Enum = BLUE : " + value.toString() 
    } 
    } 
    data 
}.persist(StorageLevel.MEMORY_ONLY_SER) 

output.saveAsTextFile("myOutput") 

---

फिर blueCount शून्य नहीं है, लेकिन मैं कोई println() उत्पादन मिल गया है! क्या मुझसे यहां कुछ छूट रहा है? धन्यवाद!

Answer 1

मैं एक UtilityFunction बनाकर चारों ओर यह काम करने में सक्षम था:

object PrintUtiltity { 
    def print(data:String) = { 
     println(data) 
    } 
} 

Answer 2

यह एक वैचारिक सवाल यह है कि ...

कल्पना कीजिए कि आप एक बड़ा क्लस्टर, कई कार्यकर्ताओं से बना है चलो कहते हैं कि n श्रमिकों और उन श्रमिकों एक RDD या DataFrame के विभाजन का संग्रहण करने दे, कल्पना कीजिए कि आप एक map काम भर में शुरू उस डेटा, और कहा कि map अंदर आप एक print बयान है, सब से पहले:

• कहाँ है कि डेटा बाहर प्रिंट किया जाएगा?
• क्या नोड प्राथमिकता और क्या विभाजन है?
• यदि सभी नोड समानांतर में चल रहे हैं, तो पहले कौन मुद्रित किया जाएगा?
• यह प्रिंट कतार कैसे बनाई जाएगी?

उन बहुत से सवाल कर रहे हैं, इस प्रकार apache-spark के डिजाइनर/देखरेख किसी भी map-reduce आपरेशन के अंदर print बयान (इस में शामिल हैं accumulators और यहां तक ​​कि broadcast चर) के लिए किसी भी समर्थन ड्रॉप करने तार्किक फैसला किया।

यह भी समझ में आता है क्योंकि स्पार्क एक भाषा बहुत बड़ी डेटासेट के लिए डिज़ाइन की गई है। जबकि प्रिंटिंग परीक्षण और डिबगिंग के लिए उपयोगी हो सकती है, आप डेटाफ्रेम या आरडीडी की हर पंक्ति मुद्रित नहीं करना चाहेंगे क्योंकि उन्हें लाखों या अरबों पंक्तियों के लिए बनाया गया है! तो इन जटिल प्रश्नों का सामना क्यों करें जब आप पहली जगह प्रिंट नहीं करना चाहेंगे?

आदेश में इस साबित करने के लिए आप उदाहरण के लिए इस स्केला कोड चला सकते हैं में:

// Let's create a simple RDD 
val rdd = sc.parallelize(1 to 10000) 

def printStuff(x:Int):Int = { 
    println(x) 
    x + 1 
} 

// It doesn't print anything! because of a logic design limitation! 
rdd.map(printStuff) 

// But you can print the RDD by doing the following: 
rdd.take(10).foreach(println)