amazon-emr

    10गर्मी

    1उत्तर

    मैं अमेज़न ईएमआर पर स्काला में लिखा स्पार्क कोड का निम्न भाग को चलाने के लिए कोशिश कर रहा हूँ पर स्पार्क स्काला कोड को चलाने के लिए: import org.apache.spark.{SparkConf, SparkContext} object TestRunn

    5गर्मी

    1उत्तर

    निम्नलिखित कंटेनर में से एक का लॉग डंप है। मुझे एक अपवाद मिला है कि कुछ अनुमतियों के कारण एक फ़ोल्डर नहीं बनाया जा सकता है। मैंने कई बार समस्या निवारण किया है लेकिन फिर भी यह अस्तित्व में है। सूरज पर/

    5गर्मी

    1उत्तर

    मैं बनाया है pyspark संरचित स्ट्रीमिंग कार्यक्रम में% spark.pyspark दुभाषिया का उपयोग कर और टसेपेल्लिन नोटबुक में निष्पादित करने के लिए कोशिश करते हुए: %spark.pyspark query_window = windowedCounts \

    11गर्मी

    2उत्तर

    हाल ही में हम "एचएमएफएस पर ईएमआर" -> "एसएम पर ईएमआर" (लगातार दृश्य सक्षम ईएमआरएफएस) से माइग्रेट हुए हैं और हमने महसूस किया है कि एस 3 को लिखने वाले स्पार्क 'सेवएटेबल' (लकड़ी का प्रारूप) एचडीएफएस की तु

    23गर्मी

    1उत्तर

    पर ब्रीज़ के लिए उच्च प्रदर्शन BLAS/LAPACK को कॉन्फ़िगर कैसे करें मैं क्लस्टर पर अन्वेषक डेटा विश्लेषण का समर्थन करने के लिए एक वातावरण स्थापित करने की कोशिश कर रहा हूं। क्लस्टर के प्रावधान के लिए अमे

    7गर्मी

    1उत्तर

    से बाह्य पुस्तकालय आयात करें मैंने अमेज़ॅन ईएमआर का उपयोग करके क्लस्टर स्थापित किया है। मेरे पास एक पायथन लाइब्रेरी है (जीथ्यूब से क्लोन और पीपी पर उपलब्ध नहीं है) एस 3 पर। मैं एक सुअर का काम सबमिट कर

    5गर्मी

    1उत्तर

    मैं https://github.com/awslabs/emr-bootstrap-actions/tree/master/hama स्क्रिप्ट का उपयोग पर अमेज़न लचीला MapReduce अपाचे हामा को चलाने के लिए कोशिश कर रहा हूँ अपाचे हामा। हालांकि, एक मास्टर नोड और दो

    7गर्मी

    1उत्तर

    में स्पार्कएक्सप्शन फेंकते समय मैं ईएमआर में संसाधन प्रबंधक के रूप में और 2 नोड्स पर एक स्पार्क नौकरी चला रहा हूं। अगर मेरी हालत पूरी नहीं हुई है, तो मुझे चरणबद्ध रूप से चरण में विफल होने की आवश्यकता

    6गर्मी

    1उत्तर

    के साथ S3 पर फ़ाइलों का यादृच्छिक नमूना पढ़ें मेरे पास S3 पर एक बाल्टी है जिसमें 1000 फ़ाइलें हैं। प्रत्येक लगभग 1 जीबी है। मैं इस फाइल के यादृच्छिक नमूना को पढ़ना चाहता हूं। मान लें कि सभी फाइलों में

    10गर्मी

    1उत्तर

    मैं एक छोटे से तीन सर्वर अमेज़ॅन ईएमआर 5 (स्पार्क 2.0) क्लस्टर पर स्पार्क नौकरी चला रहा हूं। मेरा काम एक घंटे या उससे भी अधिक तक चलता है, नीचे दी गई त्रुटि से विफल रहता है। मैं मैन्युअल रूप से पुनरारं