2014-10-12 12 views
11

मैंने इस पृष्ठ का अनुसरण किया और यार्न-क्लस्टर मोड में यार्न पर स्पार्कपी उदाहरण एप्लिकेशन चलाया।यार्न-क्लस्टर मोड में यार्न पर स्पार्क चलाना: कंसोल आउटपुट कहां जाता है?

http://spark.apache.org/docs/latest/running-on-yarn.html

मैं अंत में कार्यक्रम के उत्पादन में (जो इस मामले में गणना का परिणाम है) नहीं दिख रहा। जब मैं सूत-ग्राहक मोड में इसे चलाने (--master यार्न-ग्राहक), मैं इस तरह एक आउटपुट देखें:

पाई मोटे तौर पर 3,138796

कहाँ मानक करता है बाहर में जाना यार्न-क्लस्टर मोड?

उत्तर

9

बहुत ज्यादा पोकिंग के बाद, मैंने इसे spark-0.9.0 doc में पाया।

निर्गम (पिछला आदेश द्वारा "आवेदन पहचानकर्ता" उत्पादन के साथ निम्न में $ YARN_APP_ID की जगह) की जांच (नोट: YARN_APP_LOGS_DIR आमतौर पर है/tmp/लॉग या $ HADOOP_HOME/लॉग/userlogs Hadoop पर निर्भर करता है संस्करण।)

$ बिल्ली $ YARN_APP_LOGS_DIR/$ YARN_APP_ID/कंटेनर * _000001/stdout

पाई लगभग 3,13794

है मैं वेमें यह निर्देश डाल इच्छाभी।

+0

लॉग जानकारी दस्तावेज़ के आपके आवेदन अनुभाग को डिबग करने में है। यह भी वर्णन करता है कि आप लॉग देखने के लिए 'यार्न लॉग' कमांड का उपयोग कैसे कर सकते हैं। –

संबंधित मुद्दे