स्पार्क खोल Mesos से कनेक्ट कर sched.cpp पर अटक

Question

नीचे मेरी spark-defaults.conf और spark-shell

$ cat conf/spark-defaults.conf 
spark.master      mesos://172.16.**.***:5050 
spark.eventLog.enabled   false 
spark.broadcast.compress   false 
spark.driver.memory    4g 
spark.executor.memory   4g 
spark.executor.instances   1 

$ bin/spark-shell 
log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory). 
log4j:WARN Please initialize the log4j system properly. 
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info. 
Using Spark's repl log4j profile: org/apache/spark/log4j-defaults-repl.properties 
To adjust logging level use sc.setLogLevel("INFO") 
Welcome to 
     ____    __ 
    /__/__ ___ _____/ /__ 
    _\ \/ _ \/ _ `/ __/ '_/ 
    /___/ .__/\_,_/_/ /_/\_\ version 1.5.2 
     /_/ 

Using Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_80) 
Type in expressions to have them evaluated. 
Type :help for more information. 
15/11/15 04:56:11 WARN MetricsSystem: Using default name DAGScheduler for source because spark.app.id is not set. 
I1115 04:56:12.171797 72994816 sched.cpp:164] Version: 0.25.0 
I1115 04:56:12.173741 67641344 sched.cpp:262] New master detected at master@172.16.**.***:5050 
I1115 04:56:12.173951 67641344 sched.cpp:272] No credentials provided. Attempting to register without authentication 

के उत्पादन में यह यहाँ अनिश्चित काल के लिए लटकी हुई है, जबकि Mesos वेब UI पता चलता है कि स्पार्क चौखटे का एक बहुत लगातार spinning- थे दर्ज की हैं और जब तक मैं Ctrl-C के साथ spark-shell छोड़ देता हूं तब तक पंजीकरण रद्द नहीं करता।

मुझे लगता है कि यह आंशिक रूप से अपने लैपटॉप एकाधिक आईपी पतों होने के कारण होता है। जब सर्वर पर चलाने के लिए, यह अगली पंक्ति के लिए जारी है, और हमेशा की तरह स्काला आरईपीएल:

I1116 09:53:30.265967 29327 sched.cpp:641] Framework registered with 9d725348-931a-48fb-96f7-d29a4b09f3e8-0242 
15/11/16 09:53:30 INFO mesos.MesosSchedulerBackend: Registered as framework ID 9d725348-931a-48fb-96f7-d29a4b09f3e8-0242 
15/11/16 09:53:30 INFO util.Utils: Successfully started service 'org.apache.spark.network.netty.NettyBlockTransferService' on port 57810. 
15/11/16 09:53:30 INFO netty.NettyBlockTransferService: Server created on 57810 
15/11/16 09:53:30 INFO storage.BlockManagerMaster: Trying to register BlockManager 
15/11/16 09:53:30 INFO storage.BlockManagerMasterEndpoint: Registering block manager 172.16.**.***:57810 with 2.1 GB RAM, BlockManagerId(driver, 172.16.**.***, 57810) 
15/11/16 09:53:30 INFO storage.BlockManagerMaster: Registered BlockManager 
15/11/16 09:53:30 INFO repl.Main: Created spark context.. 
Spark context available as sc. 

मैं Mesos 0.25.0 Mesosphere द्वारा निर्मित चल रहा हूँ, और मैं पता है कि से पहुँचा जा सकता है के लिए spark.driver.host सेट कर रहा हूं मेसोस क्लस्टर में सभी मशीनें। मैं देखता हूं कि spark-shell की प्रक्रिया द्वारा खुलने वाला प्रत्येक बंदरगाह उस आईपी पते या * पर बाध्य है।

The most similar question on StackOverflow सहायक नहीं लगता है, क्योंकि इस मामले में मेरे लैपटॉप को मेजबानों से पहुंचा जाना चाहिए।

मैं लॉग फाइलों का पता नहीं लगा सका जिसमें ढांचे को अनियंत्रित किया गया था। इस मुद्दे को हल करने के लिए मुझे कहां देखना चाहिए?

Answer 1

मेसोस नेटवर्किंग कार्यों के बारे में एक बहुत ही अजीब धारणा है - विशेष रूप से, यह महत्वपूर्ण है कि आप बिडरेक्शनल मास्टर और फ्रेमवर्क के बीच संचार स्थापित कर सकें। तो दोनों पक्षों को आपसी नेटवर्क मार्ग होना चाहिए। यदि आप एनएटी या कंटेनरों के पीछे दौड़ते हैं, तो आप पहले इसमें भाग लेते हैं - आमतौर पर आपको फ्रेमवर्क पक्ष पर अपने सार्वजनिक रूप से सुलभ आईपी में LIBPROCESS_IP सेट करने की आवश्यकता होती है। शायद यह आपके लैपटॉप की तरह बहुआयामी प्रणालियों पर भी लागू होता है।

आप इंटरनेट के चारों ओर झूठ बोलने वाली थोड़ी अधिक जानकारी पा सकते हैं, हालांकि दुर्भाग्य से यह अच्छी तरह से प्रलेखित नहीं है। यद्यपि a hint on their Deployment Scripts page है।