स्पार्क वर्कर नोड स्वचालित रूप से बंद हो जाता है

Question

मैं स्पार्क स्टैंडअलोन क्लस्टर चला रहा हूं और एप्लिकेशन जमा करने पर, स्पार्क ड्राइवर निम्न त्रुटि से रोकता है।

16/01/12 23:26:14 INFO Worker: Asked to kill executor app-20160112232613-0012/0 
16/01/12 23:26:14 INFO ExecutorRunner: Runner thread for executor app-20160112232613-0012/0 interrupted 
16/01/12 23:26:14 INFO ExecutorRunner: Killing process! 
16/01/12 23:26:14 ERROR FileAppender: Error writing stream to file /spark/spark-1.4.1/work/app-20160112232613-0012/0/stderr 
java.io.IOException: Stream closed 
     at java.io.BufferedInputStream.getBufIfOpen(BufferedInputStream.java:170) 
     at java.io.BufferedInputStream.read1(BufferedInputStream.java:283) 
     at java.io.BufferedInputStream.read(BufferedInputStream.java:345) 
     at java.io.FilterInputStream.read(FilterInputStream.java:107) 
     at org.apache.spark.util.logging.FileAppender.appendStreamToFile(FileAppender.scala:70) 
     at org.apache.spark.util.logging.FileAppender$$anon$1$$anonfun$run$1.apply$mcV$sp(FileAppender.scala:39) 
     at org.apache.spark.util.logging.FileAppender$$anon$1$$anonfun$run$1.apply(FileAppender.scala:39) 
     at org.apache.spark.util.logging.FileAppender$$anon$1$$anonfun$run$1.apply(FileAppender.scala:39) 
     at org.apache.spark.util.Utils$.logUncaughtExceptions(Utils.scala:1772) 
     at org.apache.spark.util.logging.FileAppender$$anon$1.run(FileAppender.scala:38) 
16/01/12 23:26:14 INFO Worker: Executor app-20160112232613-0012/0 finished with state KILLED exitStatus 143 
16/01/12 23:26:14 INFO Worker: Cleaning up local directories for application app-20160112232613-0012 

मैं स्पार्क और इसकी प्रसंस्करण के लिए नौसिखिया हूं। कृपया मुझे इसमें मदद करें।

Answer 1

मेरे मामले में, समस्या यह थी कि स्पार्क चालक निष्पादन योग्य जार से निर्भरता प्राप्त करने में सक्षम नहीं था। सभी निर्भरताओं को विलय कर दिया और उन्हें एक निष्पादन योग्य में परिवर्तित कर दिया। यह मुद्दा तय किया।

मेरी शब्दावलियों के साथ सहन कृपया :)

Answer 2

त्रुटि java.io.IOException के कारण नहीं है आप स्पष्ट रूप से देख सकते हैं 16/01/12 23:26:14 INFO Worker: Asked to kill executor app-20160112232613-0012/0 के बाद से। यह अपवाद बाद में उठाया जाता है जब स्पार्क लॉग फ़ाइलों को लिखने का प्रयास करता है, जिसमें आप अपनी त्रुटि का कारण भी देखेंगे।

भले ही आप root विशेषाधिकार स्पार्क-सबमिट के साथ चलते हैं, तो यह spark उपयोगकर्ता है जो फ़ाइलों को लिखता है। मुझे लगता है कि आप अपने लैपटॉप पर चल रहे हैं। अपने स्पार्क फ़ोल्डर पर sudo chmod -R 777 चलाने का प्रयास करें।