मैंने अपाचे स्पार्क के साथ अपने क्लस्टर को लॉन्च करने के लिए ऑनलाइन एडब्ल्यूएस कंसोल का उपयोग किया है। मेरे स्पार्क ऐप के आधार पर मेरे पास एक वसा जार है और मैंने इसे एस 3 बाल्टी में अपलोड किया है। जब मैं इसे Step with a Custom Jar
के रूप में भेजने की कोशिश करता हूं, तो प्रक्रिया विफल हो जाती है। किसी भी पॉइंटर्स की सराहना की जाएगी।मैं एक ईएमआर क्लस्टर में स्पार्क जार कैसे जमा करूं?
6
A
उत्तर
2
उपयोग EMR bootstrap to install Spark, और दस्तावेज़ में वर्णित कार्य सबमिट करते: आपके इनपुट के लिए https://github.com/awslabs/emr-bootstrap-actions/blob/master/spark/examples/spark-submit-via-step.md
संबंधित मुद्दे
- 1. एक अमेज़ॅन ईएमआर क्लस्टर
- 2. एडब्ल्यूएस ईएमआर क्लस्टर
- 3. स्पार्क प्रसारित परिवर्तनीय रिटर्न NullPointerException जब अमेज़ॅन ईएमआर क्लस्टर
- 4. ईएमआर क्लस्टर चरणों को एक साथ कैसे चलाएं?
- 5. ईएमआर
- 6. जावा में स्पार्क जॉब: क्लस्टर
- 7. एडब्ल्यूएस ईएमआर
- 8. ईएमआर चिंगारी से खोल जार
- 9. एडब्ल्यूएस ईएमआर स्पार्क पायथन लॉगिंग
- 10. मैं अपने ईएमआर क्लस्टर में पाइस्पर्क (स्थानीय मशीन) कैसे कनेक्ट कर सकता हूं?
- 11. अमेज़ॅन ईएमआर
- 12. मैं पैकेज के अपडेट कैसे जमा करूं?
- 13. स्पार्क क्लस्टर और कैसंड्रा
- 14. अनुमति अस्वीकृत: उपयोगकर्ता = टसेपेल्लिन एडब्ल्यूएस ईएमआर क्लस्टर
- 15. मैं एक ग्रोवी स्क्रिप्ट में जार कैसे शामिल करूं?
- 16. मैं सेवामिक्स को क्लस्टर कैसे करूं?
- 17. मैं स्पार्क में एक कॉलम कैसे एकत्र करूं?
- 18. ईएमआर पर स्पार्क लॉग कहां हैं?
- 19. समाप्त एडब्ल्यूएस ईएमआर क्लस्टर की सूची को कैसे साफ करें?
- 20. कैसे मैं एक जार
- 21. स्पार्क - एडब्ल्यूएस ईएमआर क्लस्टर के लिए किस इंस्टेंस प्रकार को प्राथमिकता दी जाती है?
- 22. एडब्ल्यूएस ईएमआर
- 23. मैं पूरे जार को दोबारा बिना किसी जार में एक फ़ाइल कैसे अपडेट करूं?
- 24. मैं जार के अंदर एक कॉन्फ़िगरेशन फ़ाइल कैसे एक्सेस करूं?
- 25. मैं ग्राफविज़ में क्लस्टर फ़ॉन्ट विशेषताओं को कैसे सेट करूं?
- 26. मैं एक जार के अंदर से एक जार कैसे निष्पादित करूं?
- 27. अमेज़ॅन ईएमआर पर पायथन मॉड्यूल की स्थापना बूटस्ट्रैप कैसे करें?
- 28. एक एडब्लूएस क्लस्टर पर टेंसरफ्लो कैसे चलाएं?
- 29. अमेज़ॅन ईएमआर
- 30. ईसी 2 क्लस्टर
धन्यवाद। हालांकि, मेरे aws-cli आउटपुट में कोई ऐड-स्टेप विधि नहीं है। क्या मुझे अपने रूबी क्लाइंट का उपयोग करना चाहिए? – dataker
प्रलेखन डिफ़ॉल्ट aws cli का उपयोग करता है, जिसमें वह विधि है: http://docs.aws.amazon.com/cli/latest/reference/emr/index.html आप या तो अपने सीएलआई में वैकल्पिक कमांड का उपयोग कर सकते हैं यदि कोई है, या डिफ़ॉल्ट सीएलआई कार्यान्वयन के नवीनतम संस्करण में अद्यतन करें। –
मुझे मिल गया! बहुत बहुत धन्यवाद – dataker