2015-03-04 19 views
6

मैंने अपाचे स्पार्क के साथ अपने क्लस्टर को लॉन्च करने के लिए ऑनलाइन एडब्ल्यूएस कंसोल का उपयोग किया है। मेरे स्पार्क ऐप के आधार पर मेरे पास एक वसा जार है और मैंने इसे एस 3 बाल्टी में अपलोड किया है। जब मैं इसे Step with a Custom Jar के रूप में भेजने की कोशिश करता हूं, तो प्रक्रिया विफल हो जाती है। किसी भी पॉइंटर्स की सराहना की जाएगी।मैं एक ईएमआर क्लस्टर में स्पार्क जार कैसे जमा करूं?

उत्तर

2

उपयोग EMR bootstrap to install Spark, और दस्तावेज़ में वर्णित कार्य सबमिट करते: आपके इनपुट के लिए https://github.com/awslabs/emr-bootstrap-actions/blob/master/spark/examples/spark-submit-via-step.md

+0

धन्यवाद। हालांकि, मेरे aws-cli आउटपुट में कोई ऐड-स्टेप विधि नहीं है। क्या मुझे अपने रूबी क्लाइंट का उपयोग करना चाहिए? – dataker

+0

प्रलेखन डिफ़ॉल्ट aws cli का उपयोग करता है, जिसमें वह विधि है: http://docs.aws.amazon.com/cli/latest/reference/emr/index.html आप या तो अपने सीएलआई में वैकल्पिक कमांड का उपयोग कर सकते हैं यदि कोई है, या डिफ़ॉल्ट सीएलआई कार्यान्वयन के नवीनतम संस्करण में अद्यतन करें। –

+0

मुझे मिल गया! बहुत बहुत धन्यवाद – dataker

संबंधित मुद्दे