मैंने अपाचे स्पार्क के साथ बूटस्ट्रैप किए गए 3-नोड एडब्ल्यूएस लोचदार मैपराइडस क्लस्टर को तैनात किया है। अपने स्थानीय मशीन से, मैं SSH द्वारा मास्टर नोड पहुँच सकते हैं:मैं अपने ईएमआर क्लस्टर में पाइस्पर्क (स्थानीय मशीन) कैसे कनेक्ट कर सकता हूं?
ssh -i <key> [email protected] एक बार मास्टर नोड में ssh'd, मैं pyspark के माध्यम से PySpark पहुँच सकते हैं। इसके अतिरिक्त, (हालांकि असुरक्षित) मैंने अपने मास्टर नोड के सुरक्षा समूह को अपने स्थानीय मशीन के आईपी पते से विशेष रूप से बंदरगाह 7077 पर टीसीपी यातायात स्वीकार करने के लिए कॉन्फ़िगर किया है।
MASTER=spark://ec2-master-node-public-address:7077 ./bin/pyspark
अपवादों की संख्या में उपरोक्त आदेश के परिणाम और एक SparkContext वस्तु प्रारंभ करने में असमर्थ के लिए PySpark कारण बनता है:
हालांकि, मैं अभी भी अपने क्लस्टर के लिए मेरी स्थानीय PySpark उदाहरण कनेक्ट करने में असमर्थ हूँ ।
क्या कोई जानता है कि ऊपर से वर्णित एक जैसा रिमोट कनेक्शन सफलतापूर्वक कैसे बनाया जाए?
क्या आप कृपया बता सकते हैं क्यों? मैं यह भी करना चाहता हूं, लेकिन यह समझाने में सक्षम होना चाहिए कि अगर यह दृष्टिकोण काम नहीं करेगा तो मैं ऐसा क्यों नहीं कर सकता। – thebigdog
मैं ईमानदारी से नीचे मत सोचता हूं-वोटिंग लेकिन आप टिप्पणी करने का कम से कम निर्णय ले सकते हैं कि उत्तर पर विचार क्यों वैध है ... – eliasah
यह मजेदार होना शुरू हो रहा है ... आपको जवाब पसंद नहीं है और आप डाउनवोट करते हैं? यह एक वैध जवाब है! – eliasah