ERROR स्पार्ककॉन्टेक्स्ट: स्पार्ककॉन्टेक्स्ट

Question

प्रारंभ करने में त्रुटि मैं स्पार्क-1.5.0-सीडीएच 5.6.0 का उपयोग कर रहा हूं।

ERROR SparkContext: Error initializing SparkContext. 
java.io.FileNotFoundException: File file:/user/spark/applicationHistory does not exist 
     at org.apache.hadoop.fs.RawLocalFileSystem.deprecatedGetFileStatus(RawLocalFileSystem.java:534) 
     at org.apache.hadoop.fs.RawLocalFileSystem.getFileLinkStatusInternal(RawLocalFileSystem.java:747) 
     at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:524) 
     at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:424) 
     at org.apache.spark.scheduler.EventLoggingListener.start(EventLoggingListener.scala:100) 
     at org.apache.spark.SparkContext.<init>(SparkContext.scala:541) 
     at com.cloudera.spark.simbox.sparksimbox.WordCount$.main(WordCount.scala:12) 
     at com.cloudera.spark.simbox.sparksimbox.WordCount.main(WordCount.scala) 
     at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
     at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 
     at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
     at java.lang.reflect.Method.invoke(Method.java:606) 
     at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:672) 
     at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:180) 
     at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:205) 
     at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:120) 
     at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala) 

Answer 1

स्पार्क एक सुविधा है जो आपको SparkContext के मरने के बाद ऐतिहासिक घटनाओं ब्राउज़ कर सकते हैं "इतिहास सर्वर" कहा जाता है:

> spark-submit --class com.cloudera.spark.simbox.sparksimbox.WordCount --master local /home/hadoop/work/testspark.jar 

निम्न त्रुटि समझे: नमूना आवेदन (स्केला) आदेश है की कोशिश की । यह गुण spark.eventLog.enabled को true पर सेट करके सेट किया गया है।

आपके पास दो विकल्प हैं, या तो spark.eventLog.dir config मूल्य के माध्यम से ईवेंट लॉग स्टोर करने के लिए एक वैध निर्देशिका निर्दिष्ट, या बस false को spark.eventLog.enabled सेट यदि आप इसे ज़रूरत नहीं है।

आप Spark Configuration पृष्ठ पर उस पर और अधिक पढ़ सकते हैं।