मुद्दा यार्न क्लस्टर पर चल रहा है स्पार्क नौकरी

Question

मैं Hadoop यार्न क्लस्टर मोड में मेरी चिंगारी नौकरी चलाना चाहते हैं, और मैं निम्न आदेश का उपयोग कर रहा:

spark-submit --master yarn-cluster 
      --driver-memory 1g 
      --executor-memory 1g 
      --executor-cores 1 
      --class com.dc.analysis.jobs.AggregationJob 
       sparkanalitic.jar param1 param2 param3 

मैं त्रुटि नीचे हो रही है, कृपया सुझाव है कि क्या जा रहा गलत, आदेश सही है या नहीं। मैं सीडीएच 5.3.1 का उपयोग कर रहा हूँ।

Diagnostics: Application application_1424284032717_0066 failed 2 times due 
to AM Container for appattempt_1424284032717_0066_000002 exited with 
exitCode: 15 due to: Exception from container-launch. 

Container id: container_1424284032717_0066_02_000001 
Exit code: 15 
Stack trace: ExitCodeException exitCode=15: 
    at org.apache.hadoop.util.Shell.runCommand(Shell.java:538) 
    at org.apache.hadoop.util.Shell.run(Shell.java:455) 
    at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:702) 
    at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:197) 
    at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:299) 
    at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:81) 
    at java.util.concurrent.FutureTask.run(FutureTask.java:262) 
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) 
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) 
    at java.lang.Thread.run(Thread.java:745) 

Container exited with a non-zero exit code 15 
.Failing this attempt.. Failing the application. 
    ApplicationMaster host: N/A 
    ApplicationMaster RPC port: -1 
    queue: root.hdfs 
    start time: 1424699723648 
    final status: FAILED 
    tracking URL: http://myhostname:8088/cluster/app/application_1424284032717_0066 
    user: hdfs 

2015-02-23 19:26:04 DEBUG Client - stopping client from cache: org.apache.hadoop.ipc.Client@4085f1ac 
2015-02-23 19:26:04 DEBUG Utils - Shutdown hook called 
2015-02-23 19:26:05 DEBUG Utils - Shutdown hook called 

किसी भी मदद की सराहना की जाएगी।

Answer 1

आदेश सही दिखता है।

जो मैंने पार किया है वह यह है कि "निकास कोड 15" आमतौर पर टेबलनॉटफाउंड अपवाद को इंगित करता है। आमतौर पर इसका मतलब है कि आपके द्वारा सबमिट किए जा रहे कोड में कोई त्रुटि है।

आप ट्रैकिंग यूआरएल पर जाकर इसे देख सकते हैं।

Answer 2

इसका अर्थ यह हो सकता है कि हमारे लिए बहुत सी चीजें हैं, हमें असमर्थित जावा क्लास संस्करण की वजह से एक ही त्रुटि संदेश मिलता है, और हमने हमारी परियोजना में संदर्भित जावा क्लास को हटाकर समस्या को ठीक किया है।

इस आदेश का प्रयोग करें विस्तृत त्रुटि संदेश देखने के लिए:

yarn logs -applicationId application_1424284032717_0066 

Answer 3

मेरे लिए बाहर निकलने के कोड मुद्दा spark/conf निर्देशिका में hive-site.xml रखकर हल किया।

Answer 4

आपको कोड में ".setMaster (" local ")" को हटा देना चाहिए।

Answer 5

लाइन "spark.master":"local[*] "स्पार्क विन्यास फाइल में निकालें यदि आप क्लस्टर के तहत चिंगारी नौकरियों चल रहे हैं।

स्थानीय पीसी पर मान लीजिए रन, यह शामिल हैं।

मणि