apache-spark

22गर्मी

3उत्तर

स्टैंडअलोन मोड स्पार्क: चिंगारी उत्पादन HDFS

मेरे दूसरे प्रश्न से संबंधित के लिए लिखा है, लेकिन अलग संपीड़ित करने के लिए कैसे: someMap.saveAsTextFile("hdfs://HOST:PORT/out") मैं HDFS के लिए एक RDD सहेजते हैं, तो मैं कैसे बता सकते हैं चिंगारी g

41गर्मी

2उत्तर

फास्ट हैडोप एनालिटिक्स (क्लाउडर इंपला बनाम स्पार्क/शार्क बनाम अपाचे ड्रिल)

मैं एचडीएफएस में डेटा पर कुछ "रीयल-टाइम" डेटा विश्लेषण (ओलाप-जैसे) करना चाहता हूं। मेरे शोध से पता चला है कि तीन निर्दिष्ट ढांचे अपाचे हाइव की तुलना में महत्वपूर्ण प्रदर्शन लाभ की रिपोर्ट करते हैं। क्

5गर्मी

1उत्तर

अपाचे स्पार्क: स्थानीय [के] मास्टर यूआरएल - नौकरी फंसे

मैं बड़ी डेटा फ़ाइल को संसाधित करने के लिए अपाचे स्पार्क 0.8.0 का उपयोग कर रहा हूं और RDD पर कुछ बुनियादी .map और .reduceByKey संचालन कर रहा हूं। के बाद से मैं कई प्रोसेसर के साथ एक मशीन का उपयोग कर र

6गर्मी

1उत्तर

प्रक्रिया परिसर घटनाक्रम

मेरे पास मेरे सिस्टम में आने वाली अलग-अलग घटनाओं की एक धारा है और मुझे प्रत्येक कार्यक्रम की सामग्री के आधार पर नियमों को लागू करने की आवश्यकता है। इसके अलावा, मैं इन स्ट्रीम घटनाओं पर जटिल घटना प्रसं

5गर्मी

1उत्तर

स्पार्क

में सॉर्ट करते समय NotSerializableException मैं एक साधारण स्ट्रीम प्रोसेसिंग स्पार्क जॉब लिखने की कोशिश कर रहा हूं जो संदेशों की एक सूची (जेएसओएन-स्वरूपित) ले लेगा, प्रत्येक उपयोगकर्ता से संबंधित है,

11गर्मी

2उत्तर

शार्क/स्पार्क को कैश साफ़ करने के लिए कैसे करें?

जब मैं अपने शार्क प्रश्नों को चलाता हूं, तो स्मृति को मुख्य स्मृति में जमा किया जाता है यह मेरा शीर्ष आदेश परिणाम है। मेम: कुल 74237344k, 70080492k इस्तेमाल किया, 4156852k मुक्त, 399544k बफ़र्स स्वैप:

6गर्मी

1उत्तर

एसबीटी असेंबली कार्य कुछ निर्भरताओं को जोड़ने के बाद धीरे-धीरे चलता है

मैं स्कैला में तैनाती के लिए नया हूं और मैंने sbt-assembly प्लगइन को कॉन्फ़िगर किया है, सभी ने अच्छी तरह से काम किया है। कुछ दिन पहले मैंने हडूप, स्पार्क और कुछ अन्य निर्भरताओं को जोड़ा, तो assembly क

16गर्मी

2उत्तर

स्पार्क: एवरो फ़ाइल को लिखना

मैं स्पार्क में हूं, मेरे पास एवरो फ़ाइल से आरडीडी है। मैं अब कि RDD पर कुछ परिवर्तनों करते हैं और वापस सहेज एक एवरो फ़ाइल के रूप में करना चाहते हैं: val job = new Job(new Configuration()) AvroJob.se

7गर्मी

2उत्तर

स्पार्क और स्कैला

में समांतरता को समझना मुझे स्पार्क और स्कैला में समांतरता के बारे में कुछ भ्रम है। मैं एक प्रयोग चला रहा हूं जिसमें मुझे डिस्क परिवर्तन/प्रक्रिया कुछ कॉलम से कई (सीएसवी) फ़ाइलों को पढ़ना है और फिर इसे

22गर्मी

3उत्तर

स्पार्क शैल

के लिए निष्पादक मेमोरी (और अन्य कॉन्फ़िगरेशन) बदलें अपाचे स्पार्क शैल के लिए निष्पादक स्मृति (और अन्य कॉन्फ़िगरेशन) को कैसे बदलें? विशेष रूप से मैं स्पार्क-खोल को फ्लैट देना चाहता हूं, जैसे -Dspark-co