स्पार्क - रिमोट अक्का ग्राहक की संबद्धता समाप्त

Question

मैं एडब्ल्यूएस पर स्पार्क 0.9 की स्थापना कर रहा हूँ और लग रहा है कि जब इंटरैक्टिव Pyspark खोल शुरू करने, मेरे निष्पादकों/रिमोट कार्यकर्ताओं पहले पंजीकृत किया जा रहा है:

14/07/08 22:48:05 INFO cluster.SparkDeploySchedulerBackend: Registered executor: 
Actor[akka.tcp://sparkExecutor@ip-xx-xx-xxx-xxx.ec2.internal:54110/user/ 
Executor#-862786598] with ID 0 

और उसके बाद लगभग तुरंत अलग कर , इससे पहले कि मैं कुछ भी चलाने के लिए मौका है:

14/07/08 22:48:05 INFO cluster.SparkDeploySchedulerBackend: Executor 0 disconnected, 
so removing it 
14/07/08 22:48:05 ERROR scheduler.TaskSchedulerImpl: Lost an executor 0 (already 
removed): remote Akka client disassociated 

किसी भी विचार क्या गलत हो सकता है? मैंने jVM विकल्प spark.akka.frame आकार और spark.akka.timeout को एडजस्ट करने का प्रयास किया है, लेकिन मुझे पूरा यकीन है कि यह समस्या नहीं है क्योंकि (1) मैं शुरू करने के लिए कुछ भी नहीं चला रहा हूं, और (2) मेरा निष्पादक स्टार्टअप के बाद कुछ सेकंड डिस्कनेक्ट कर रहे हैं, जो डिफ़ॉल्ट 100s टाइमआउट के भीतर अच्छी तरह से है।

धन्यवाद!

जैक

Answer 1

मैं एक बहुत ही इसी तरह की समस्या नहीं है, नहीं तो एक ही था। श्रमिकों ने उसी नाम का उपयोग करके मास्टर से जुड़ने के बाद यह मेरे लिए काम करना शुरू कर दिया क्योंकि मास्टर ने सोचा था।

ERROR remote.EndpointWriter: AssociationError [akka.tcp://sparkWorker@idc1-hrm1.heylinux.com:7078] -> [akka.tcp://sparkMaster@vagrant-centos64.vagrantup.com:7077]: Error [Association failed with [akka.tcp://sparkMaster@vagrant-centos64.vagrantup.com:7077]]. ERROR remote.EndpointWriter: AssociationError [akka.tcp://sparkWorker@192.168.121.127:7078] -> [akka.tcp://sparkMaster@idc1-hrm1.heylinux.com:7077]: Error [Association failed with [akka.tcp://sparkMaster@idc1-hrm1.heylinux.com:7077]]

WARN util.Utils: Your hostname, idc1-hrm1 resolves to a loopback address: 127.0.0.1; using 192.168.121.187 instead (on interface eth0)

तो गुरु के लॉग की जाँच करें और देखो क्या नाम यह सोचता है कि यह है:

मेरे लॉग संदेशों की तरह कुछ थे। फिर श्रमिकों पर उसी नाम का उपयोग करें।