हैलो टसेपेल्लिन में दुनिया में विफल रहा है

Question

मैं सिर्फ स्थापित अपाचे टसेपेल्लिन (Git रेपो से नवीनतम स्रोत से निर्मित) और सफलतापूर्वक इसे और बंदरगाह 10008. मैं कोड

की एक पंक्ति के साथ एक नया नोटबुक बनाई में चल रहा है देखा

val a = "Hello World!" 

और इस पैरा चलाने के लिए और नीचे त्रुटि

java.net.ConnectException देखा: java.net.AbstractPlainSocketImpl.doConnect पर कनेक्शन java.net.PlainSocketImpl.socketConnect (मूल निवासी विधि) पर इनकार कर दिया (AbstractPlainSock etImpl.java:350) java.net.AbstractPlainSocketImpl.connectToAddress (AbstractPlainSocketImpl.java:206) java.net.AbstractPlainSocketImpl.connect (AbstractPlainSocketImpl.java:188 पर) java.net.SocksSocketImpl.connect पर पर (SocksSocketImpl.java:392) java.net.Socket.connect (Socket.java:5289) org.apache.thrift.transport.TSocket.open (TSocket.java:182) org.apache.zeppelin पर। interpreter.remote.ClientFactory.create (ClientFactory.java:51) org.apache.zeppelin.interpreter.remote.ClientFactory.create (ClientFactory.java:37) org.apache.commons.pool2.BasePooledObjectFactory पर पर। makeObject (BasePooledObjectFactory.java:60) org.apache.commons.pool2.impl.GenericObjectPool.create (GenericObjectPool.java:861) org.apache.commons.pool2.impl.GenericObjectPool.borrowObject (GenericObjectPool.java:435 पर) पर पर org.apache.commons.pool2.impl.GenericObjectPool.borrowObject (GenericObjectPool.java:363) org.apache.zeppelin.interpreter.remote.RemoteInterpreterProcess.getClient (RemoteInterpreterProcess.java:139) org.apache पर पर। zeppelin.interpreter.remote.RemoteInterpreter.init (RemoteInterpreter.java:137) org.apache.zeppelin.interpreter.remote.RemoteInterpreter.getFormType (RemoteInterpreter.java:257) परorg.apache.zeppelin.interpreter.LazyOpenInterpreter.getFormType (LazyOpenInterpreter.java:104) org.apache.zeppelin.notebook.Paragraph.jobRun (Paragraph.java:197) पर org.apache.zeppelin.scheduler.Job पर 0rorg.apache.zeppelin.scheduler.RemoteScheduler $ JobRunner.run (RemoteScheduler.java:304) java.util.concurrent.Executors $ RunnableAdapter.call (execors.java: java.util.concurrent.ScheduledThreadPoolExecutor $ ScheduledFutureTask.access $ 201 (ScheduledThreadPoolExecutor.java:180) java.util.concurrent पर पर 511) java.util.concurrent.FutureTask.run (FutureTask.java:266) पर। ScheduledThreadPoolExecutor $ ScheduledFutureTask.run (ScheduledThreadPoolExecutor.java:293) 0,123,516 java.util.concurrent.ThreadPoolExecutor.runWorker (ThreadPoolExecutor.java:1142) java.util.concurrent.ThreadPoolExecutor $ Worker.run (ThreadPoolExecutor.java:617) पर java.lang.Thread.run पर पर(Thread.java:745

कोई सुराग?

मेरे बैकएंड चिंगारी 1.5 है और मैं दुभाषिये की वेब इंटरफेस द्वारा सत्यापित चिंगारी और approproate spark.home का सही संस्करण के लिए टसेपेल्लिन अंक कि।

Answer 1

मैंने देखा है कि यूआरएल है कि चिंगारी को इंगित करता है सही नहीं था।एक बार, मैंने इसे सही किया, यह ठीक काम करता है। फिर भी धन्यवाद।

Answer 2

त्रुटि को भी एक त्रुटि हुई है, जबकि ज़ेपेल्लिन दुभाषिया बनाने की कोशिश कर रहा है।

टसेपेल्लिन एक अलग प्रक्रिया में interpretter शुरू होता है और बचत प्रोटोकॉल

उपयोग करते हुए मेरे मामले में करने के लिए कनेक्ट करने के लिए जब चिंगारी defaults.conf में चिंगारी ड्राइवर के लिए 5GB असाइन करने की कोशिश मैं यह त्रुटि ve यह जब है संकल्प लिया की कोशिश करता है इस लाइन टिप्पणी (या 4 जी या उससे कम आवंटित)

#spark.driver.memory    5g 

आप इस JIRA ZEPPELIN-305

संपादित पर एक नज़र हो सकता था:

यह त्रुटि किसी भी कारण से हो सकती है जो स्पार्क दुभाषिया प्रक्रिया को शुरू करने से रोकती है। हाल ही में, मुझे JEPPELIN_JAVA_OPTS में जेएमएक्स विकल्पों को जोड़ने का प्रयास करते समय यह मिला है, जिससे दुभाषिया प्रक्रिया उसी जेएमएक्स पोर्ट को ज़ेप्पेलिन प्रक्रिया के रूप में उपयोग करने का कारण बनती है। "पोर्ट पहले से प्रयोग में" त्रुटि देते

की जांच करें टसेपेल्लिन लॉग (डिफ़ॉल्ट वे ZEPPELIN_DIR में हैं द्वारा/लॉग/देखने के लिए क्या हो रहा है जब टसेपेल्लिन स्पार्क दुभाषिया शुरू करने के लिए

Answer 3

मैं इस मुद्दे को जब $SPARK_HOME था की कोशिश कर रहा सही तरीके से सेट नहीं किया गया था

Answer 4

था एक ही मुद्दा जब $ YARN_QUEUE गलत तरीके से

Answer 5

यह सवाल स्थापित किया गया था एक वर्ष अब, यकीन नहीं समस्या का समाधान महसूस किया गया है। हाल ही में, मैं एक ऐसी ही त्रुटि टकरा के लिए खुला कर दिया गया है अमेज़ॅन ईएमआर पर यार्न-स्पार्क का उपयोग करना। जैसा कि मैंने इसे डीबग किया, मुझे निम्नलिखित एहसास हुआ, और डब्ल्यू ould लोग अगर वे इसी तरह के जूते में खुद को खोजने के प्रयास करने के लिए सुझाव है (समाधान ईएमआर पर आधारित है, लेकिन अन्य तरह की चीज़ें पर समान होना चाहिए)

1. kill -9 `ps -ef | grep zeppelin | grep -v grep | awk '{print $2}'`(*will make sure zombie processes are taken care of*) 
2. kill -9 `ps -ef | grep hadoop-yarn-resourcemanager | grep -v grep | awk '{print $2}'` 
3. sudo /sbin/restart hadoop-yarn-resourcemanager 
4. At times, simply starting the resource-manager does not start the name-node `sudo start hadoop-hdfs-namenode` 
5. sudo /usr/lib/zeppelin/bin/zeppelin-daemon.sh start 
6. Use telnet to make sure that the default ports are open for required service. 

एंडो पर

एक ही है, एक टसेपेल्लिन प्रदर्शन शुरू करने के लिए सक्षम होना चाहिए वैध स्पार्ककॉन्टेक्स्ट के साथ ठीक से। उम्मीद है कि यह उपयोगी था

Answer 6

मेरे मामले में, (project-root)/node_modules/zeppelin/spark-2.0.2-bin-hadoop2.7 कुछ अज्ञात कारणों से स्थापित नहीं किया गया था। rm -rf node_modules; npm cache clear; npm i इसे ठीक किया गया।

Answer 7

नीचे एक त्रुटि स्टैक जैसे [1] नीचे कई अलग-अलग चीजों का मतलब हो सकता है। ज़ेपेल्लिन सर्वर स्थानीय दुभाषिया से कनेक्ट नहीं हो सका, क्योंकि यह शुरू या मर नहीं गया था। ऐसा लगता है कि यह ज़ेप्पेलिन बग लगता है क्योंकि जब यह ज़ेपेल्लिन दुभाषिया प्रक्रिया के बिना दुभाषिया.श बाहर निकलता है तो उसे पकड़ नहीं सकता है, इसे ट्रैक करने के लिए https://issues.apache.org/jira/browse/ZEPPELIN-1984 सबमिट किया गया है।

अलग मूल कारणों के साथ हमारे सभी मामलों में, वास्तविक त्रुटि यदि आप $ ZEPPELIN_HOME/bin/interpreter.sh तो फिर एक /tmp/interpreter.sh-* को

LOG="/tmp/interpreter.sh-$$.log" 
date >> $LOG 
set -x 
exec >> $LOG 
exec 2>&1 

जोड़ना होगा केवल revealable था .log फ़ाइल आपको वास्तविक समस्या दिखाएगी।

[1]

त्रुटि [2017/01/18 16: 54: 38,533] ({पूल-2-धागा-2} NotebookServer.java [afterStatusChange]: 1645) - त्रुटि ऑर्ग ।apache.zeppelin.interpreter.InterpreterException: org.apache.zeppelin.interpreter.InterpreterException: org.apache.thrift.transport.TTransportException: java.net.ConnectException: कनेक्शन org.apache.zeppelin.interpreter.remote पर से इनकार कर दिया .RemoteInterpreter.init (RemoteInterpreter.java:232) org.apache.zeppelin.interpreter.remote.RemoteInterpreter.getFormType (RemoteInterpreter.java:400) पर org.apache.zeppelin.interpreter.LazyOpenInterpreter.getFormType पर (LazyOpenInterpreter.java : 105) org.apache.zeppelin.notebook.Paragraph.jobRun (पैराग्राफ.जावा:316) org.apache.zeppelin.scheduler.Job.run (Job.java:176) org.apache.zeppelin पर .scheduler.RemoteScheduler $ JobRunner.run (RemoteScheduler.java:329) java.util.concurrent.Executors $ RunnableAdapter.call (Executors.java:471) java.util.concurrent.FutureTask.run (FutureTask.java:262 पर )

संपादित करें पर। सच्चे मूल कारण को प्रकट करने का एक और तरीका है स्पार्क दुभाषिया प्रक्रिया के आउटपुट को देखने के लिए log4j को बदलना, जैसा कि जेफ द्वारा जेईपीपीलीन -198 में संकेत दिया गया है। निम्नलिखित के रूप में अपने ZEPPELIN_HOME/conf/log4j.properies बदलें:

log4j.rootLogger = INFO, dailyfile 

log4j.appender.stdout = org.apache.log4j.ConsoleAppender 
log4j.appender.stdout.layout = org.apache.log4j.PatternLayout 
log4j.appender.stdout.layout.ConversionPattern=%5p [%d] ({%t} %F[%M]:%L) - %m%n 

log4j.appender.dailyfile.DatePattern=.yyyy-MM-dd 
log4j.appender.dailyfile.Threshold = DEBUG 
log4j.appender.dailyfile = org.apache.log4j.DailyRollingFileAppender 
log4j.appender.dailyfile.File = ${zeppelin.log.file} 
log4j.appender.dailyfile.layout = org.apache.log4j.PatternLayout 
log4j.appender.dailyfile.layout.ConversionPattern=%5p [%d] ({%t} %F[%M]:%L) - %m%n 

log4j.logger.org.apache.zeppelin.interpreter.InterpreterFactory=DEBUG 
log4j.logger.org.apache.zeppelin.notebook.Paragraph=DEBUG 
log4j.logger.org.apache.zeppelin.scheduler=DEBUG 
log4j.logger.org.apache.zeppelin.livy=DEBUG 
log4j.logger.org.apache.zeppelin.flink=DEBUG 
log4j.logger.org.apache.zeppelin.spark=DEBUG 
log4j.logger.org.apache.zeppelin.python=DEBUG 
log4j.logger.org.apache.zeppelin.interpreter.util=DEBUG 
log4j.logger.org.apache.zeppelin.interpreter.remote=DEBUG 
log4j.logger.org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer=DEBUG 

और टसेपेल्लिन पुनरारंभ करें। नोट: यह अत्यधिक लॉगिंग का उत्पादन कर सकता है। दुभाषिया.श्री को कुछ लाइन जोड़ने की मेरी मूल सलाह ज़ेपेल्लिन को पुनरारंभ करने की आवश्यकता नहीं है।

इसके अलावा (आंशिक रूप से) इस समस्या को हल करने के लिए पुल का अनुरोध बनाया: https://github.com/apache/zeppelin/pull/1921

अद्यतन 2017/01/24। https://issues.apache.org/jira/browse/ZEPPELIN-1984 मास्टर में तय है और Zeppelin 0.8 रिलीज में आविष्कार किया जाएगा। दो महत्वपूर्ण फिक्स ZEPPELIN-1984 का हिस्सा हैं:

• आपको "कनेक्शन से इनकार नहीं किया जाएगा" जब एक इंटरप्टर प्रक्रिया शुरू नहीं हो सकती है;
• ज़ेपेल्लिन मूल कारण दिखाएगा (पैराग्राफ आउटपुट में) मूल कारण क्या है।

Answer 8

मैं के रूप में यह जेप्लिन/conf में seted परिवर्तन के साथ इस बग यार्न-ग्राहक के लिए चिंगारी मॉडल यार्न-क्लस्टर तय/defalt.sh

Answer 9

जब साथ टसेपेल्लिन भागने की कोशिश की मैं बिल्कुल वैसा ही त्रुटि मिली अमेज़ॅन ईसीएस में माइक्रो इंस्टेंस पर उसी डॉकर कंटेनर में स्पार्क करें।

त्रुटि स्रोत% ZEPPELIN_HOME%/logs/* में आउटपुट लॉग में दिखाई देता है और यह कह रहा था कि ज़ेपेल्लिन स्पार्क दुभाषिया को कम स्मृति के कारण शुरू करने में विफल रहा। इसलिए मैंने अपनी डॉकर छवि को अधिक मेमोरी के साथ उदाहरण में ले जाया।

Answer 10

मेरे मामले में, मेरे क्लस्टर में तीन नोड हैं। हालांकि उनमें से तीन स्पार्क स्थापित किए गए थे, लेकिन उनमें से केवल एक पर ज़ेपेल्लिन स्थापित किया गया था।

तो टसेपेल्लिन दुभाषिया मेनू में -> स्पार्क -> संपादित करें -> गुण -> मास्टर

स्थानीय मेरी समस्या [*] तय करने के लिए यार्न-ग्राहक से उस पैरामीटर बदलते।