apache-spark

5गर्मी

2उत्तर

Scalac: अभिकथन में विफल रहा है, जबकि आईडिया में Scalatest चलाने

मैं IntelliJ विचार के अंदर एक ScalaTest सुइट चला रहा हूँ, स्केला परीक्षण से पहले मेकअप के चरण के दौरान, मैं इस समस्या में पड़: Error:scalac: Error: assertion failed: List(object package$DebugNode, obj

8गर्मी

3उत्तर

ईसी 2 क्लस्टर

पर एक आवेदन जमा करने के लिए स्पार्क-सबमिट का उपयोग करें मैं स्पार्क में नया हूं और मैं इसे ईसी 2 पर चलाने की कोशिश कर रहा हूं। मैं स्पार्क क्लस्टर लॉन्च करने के लिए स्पार्क-ec2 का उपयोग करके स्पार्क व

8गर्मी

3उत्तर

स्पार्क जावा एपिलसीशन: java.lang.ClassNotFoundException

मैंने जावा का उपयोग करके अपाचे स्पार्क एप्लिकेशन बनाया है। यह सब "स्पार्क" शब्द 1000 बार वाली रेखाओं की गणना कर रहा है। public class Example1 { public static void main(String[] args) { Stri

32गर्मी

5उत्तर

अपाचे स्पार्क वर्कर

के लिए मेमोरी प्रति नोड को कैसे बदलें I Apache स्पार्क क्लस्टर को कॉन्फ़िगर कर रहा हूं। जब मैं 1 मास्टर और 3 दास के साथ क्लस्टर चलाने के लिए, मैं गुरु की निगरानी पृष्ठ पर इस देखें: Memory 2.0 GB (512

10गर्मी

4उत्तर

स्पाइडर की तरह PySpark चालू और आईडीई चल रहा है?

मैं टर्मिनल लाइन से पायस्पार्क चला सकता हूं और सबकुछ ठीक काम करता है। ~/spark-1.0.0-bin-hadoop1/bin$ ./pyspark में आपका स्वागत है ____ __ /__/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __

12गर्मी

2उत्तर

आरडीडी के स्लाइस और विभाजन के बीच अंतर क्या हैं?

मैं स्पार्क की पायथन एपीआई और स्पार्क 0.8 चला रहा हूं। मैं फ्लोटिंग पॉइंट वेक्टरों का एक बड़ा आरडीडी संग्रहीत कर रहा हूं और मुझे पूरे सेट के खिलाफ एक वेक्टर की गणना करने की आवश्यकता है। क्या आरडीडी मे

59गर्मी

9उत्तर

saveAsTextFile को कैसे सहेजने के लिए एकाधिक फ़ाइल में आउटपुट विभाजित करें?

स्पार्क में स्काला का उपयोग कर, जब भी मैं saveAsTextFile का उपयोग कर बाहर परिणाम डंप, यह कई भागों में उत्पादन विभाजित करने के लिए लगता है। मैं बस इसके लिए एक पैरामीटर (पथ) गुजर रहा हूँ। val year = sc.

9गर्मी

2उत्तर

अपाचे स्पार्क नोड का एक एम्बेडेड उदाहरण शुरू करना संभव है?

मैं अपने जावा ऐप में एम्बेडेड एक स्टैंडअलोन अपाचे स्पार्क क्लस्टर का एक उदाहरण शुरू करना चाहता हूं। मैंने अपनी वेबसाइट पर कुछ दस्तावेज खोजने की कोशिश की लेकिन अभी तक नहीं देखा। क्या यह संभव है? आप स्प

8गर्मी

2उत्तर

स्थानीय pyspark

से ec2 स्पार्क क्लस्टर पर सरल कार्य नहीं कर सकता है मैं ईसी 2 स्पार्क क्लस्टर पर गणना करने के लिए अपने मैक से pyspark निष्पादित करने की कोशिश कर रहा हूं। अगर मैं क्लस्टर के लिए लॉग इन, यह उम्मीद के रू

8गर्मी

1उत्तर

स्पार्क बनाम 1.0+

के साथ Hbase 0.96 Hbase/स्पार्क संस्करणों का यह संयोजन काफी जहरीला प्रतीत होता है। मैंने कई मर्जस्ट्रेटी खोजने की कोशिश करने में घंटों बिताए हैं जो काम करेंगे लेकिन इसका कोई फायदा नहीं होगा। val spark