मेरे पास YARN पर एक स्पार्क नौकरी चल रही है और ऐसा लगता है कि यह किसी भी गणना नहीं कर रहा है और ऐसा नहीं कर रहा है। जब मैं yarn application -list जाँच,मैं कैसे बता सकता हूं कि मेरी स्पार्क नौकरी प्रगति कर रही है या नहीं?
Application Report :
Application-Id : applicationID
Application-Name : test app
Application-Type : SPARK
User : ec2-user
Queue : default
Start-Time : 1491005660004
Finish-Time : 0
Progress : 10%
State : RUNNING
Final-State : UNDEFINED
Tracking-URL : http://<ip>:4040
RPC Port : 0
AM Host : <host ip>
Aggregate Resource Allocation : 36343926 MB-seconds, 9818 vcore-seconds
Log Aggregation Status : NOT_START
Diagnostics :
और यह कहना है कि यह RUNNING है:
यहाँ जब मैं yarn application -status <APPLICATIOM ID> करना क्या यार्न का कहना है। लेकिन मुझे यकीन नहीं है कि मैं उस पर भरोसा करता हूं। जब मैं चिंगारी WebUI लिए जाते हैं, मैं केवल एक चरण पूरा कुछ ही घंटों देख मैं इसे बराबर चल रही है:
इसके अलावा, जब मैं "चरणों" टैब पर क्लिक करें, मैं कुछ भी नहीं चल रहा है देखते हैं:
कैसे सुनिश्चित करते हैं कि अपने आवेदन वास्तव में चल रहा है और उस YARN मेरे लिए झूठ नहीं बोल रही है?
मैं वास्तव में यह देखने के लिए एक त्रुटि फेंकना चाहूंगा कि यह देखने के लिए कि यह काम सक्रिय रूप से चल रहा है या नहीं। मैं उसको कैसे करू?
एचएम। मुझे वह नहीं दिख रहा है। क्या इसका मतलब है कि यह प्रगति नहीं कर रहा है? – Candic3
क्या हम इसे थोड़ा सा चैट करने के लिए ले सकते हैं? – Candic3
http://chat.stackoverflow.com/rooms/139996/spark-job- प्रगति – Candic3