emr

10गर्मी

1उत्तर

मैं अमेज़न ईएमआर पर स्काला में लिखा स्पार्क कोड का निम्न भाग को चलाने के लिए कोशिश कर रहा हूँ पर स्पार्क स्काला कोड को चलाने के लिए: import org.apache.spark.{SparkConf, SparkContext} object TestRunn

7गर्मी

1उत्तर

अमेज़ॅन ईएमआर: S3

से इनपुट और आउटपुट के साथ कस्टम जार चला रहा है मैं एक ईएमआर क्लस्टर चलाने की कोशिश कर रहा हूं जिसमें एक कस्टम जार चरण है। कार्यक्रम एस 3 से इनपुट लेता है और आउटपुट एस 3 (या कम से कम यही वह है जिसे मैं

5गर्मी

1उत्तर

एडब्ल्यूएस एमआर

में विफल होने वाले एमएक्सनेट का उपयोग करके हैडोप स्ट्रीमिंग जॉब मैंने एडब्ल्यूएस डाटापलाइन में एक एमआरआर कदम स्थापित किया है। कदम आदेश इस तरह दिखता है: /usr/lib/hadoop-mapreduce/hadoop-streaming.jar,-

7गर्मी

1उत्तर

AWS EMR 5.0

पर चल रहे boto3 में एमआर नौकरी के लिए स्ट्रीमिंग चरण जोड़ें I AWS EMR 2.4 से AWS EMR 5.0 तक पाइथन में लिखी गई कुछ एमआर नौकरियों को माइग्रेट करने का प्रयास कर रहा हूं। अब तक मैं boto 2.4 का उपयोग कर रह

9गर्मी

1उत्तर

SQL क्वेरी से अधिक है Integer.MAX_VALUE

मैं स्पार्क का उपयोग कर S3 घटनाओं पर एक सरल एसक्यूएल क्वेरी बनाने के लिए कोशिश कर रहा हूँ। मैं निम्नलिखित के रूप में JSON फाइल के ~ 30GB लोड हो रहा हूँ: val d2 = spark.read.json("s3n://myData/2017/02/

5गर्मी

1उत्तर

मैं कैसे बाल्टी फ़ाइलों को एक बाल्टीबी/सॉर्टकी मान एस 3 में सहेज सकता हूं?

ऐसा लगता है कि इस df .write() .option("mode", "DROPMALFORMED") .option("compression", "snappy") .mode("overwrite") .bucketBy(32,"column").sortBy("column") .p

6गर्मी

2उत्तर

एडब्ल्यूएस ईएमआर

पर कस्टम log4j.properties मैं अमेज़ॅन ईएमआर पर एक कस्टम log4j.properties ओवरराइड और उपयोग करने में असमर्थ हूं। मैं ईएमआर (यार्न) पर स्पार्क चला रहा हूं और कस्टम लॉग 4j को आजमाने और उपयोग करने के लिए स

5गर्मी

1उत्तर

एयरफ्लो - ईएमआर ऑपरेटर में कार्य उदाहरण

एयरफ्लो में, मुझे इस मुद्दे का सामना करना पड़ रहा है कि मुझे job_flow_id को मेरे एमआर-चरणों में से एक को पास करने की आवश्यकता है। मैं ऑपरेटर से job_flow_id पुनर्प्राप्त करने में सक्षम हूं लेकिन जब मैं

9गर्मी

2उत्तर

एडब्ल्यूएस ईएमआर स्पार्क पायथन लॉगिंग

मैं एडब्ल्यूएस ईएमआर पर एक बहुत ही सरल स्पार्क नौकरी चला रहा हूं और मुझे मेरी स्क्रिप्ट से कोई लॉग आउटपुट नहीं मिल रहा है। मैं stderr करने के लिए मुद्रण के साथ की कोशिश की है: के रूप में दिखाया गया है

7गर्मी

1उत्तर

मैं अपने ईएमआर क्लस्टर में पाइस्पर्क (स्थानीय मशीन) कैसे कनेक्ट कर सकता हूं?

मैंने अपाचे स्पार्क के साथ बूटस्ट्रैप किए गए 3-नोड एडब्ल्यूएस लोचदार मैपराइडस क्लस्टर को तैनात किया है। अपने स्थानीय मशीन से, मैं SSH द्वारा मास्टर नोड पहुँच सकते हैं: ssh -i <key> [email protected] ए