एडब्ल्यूएस ईएमआर

Question

पर कस्टम log4j.properties मैं अमेज़ॅन ईएमआर पर एक कस्टम log4j.properties ओवरराइड और उपयोग करने में असमर्थ हूं। मैं ईएमआर (यार्न) पर स्पार्क चला रहा हूं और कस्टम लॉग 4j को आजमाने और उपयोग करने के लिए स्पार्क-सबमिट में सभी नीचे दिए गए संयोजनों का प्रयास किया है।

--driver-java-options "-Dlog4j.configuration=hdfs://host:port/user/hadoop/log4j.properties" 

--conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=hdfs://host:port/user/hadoop/log4j.properties" 

मैंने फ़ाइल का उपयोग कर स्थानीय फाइल सिस्टम से चुनने का भी प्रयास किया है: //// hdfs के बजाय। इनमें से कोई भी काम नहीं कर रहा है। हालांकि, मैं अपने स्थानीय यार्न सेटअप पर चलते समय यह काम कर सकता हूं।

कोई विचार?

Answer 1

log4j एचडीएफएस के बारे में कुछ भी नहीं जानता है, इसलिए यह एक hdfs: // पथ को इसकी कॉन्फ़िगरेशन फ़ाइल के रूप में स्वीकार नहीं कर सकता है। सामान्य रूप से log4j को कॉन्फ़िगर करने के बारे में अधिक जानकारी के लिए here देखें।

ईएमआर पर log4j को कॉन्फ़िगर करने के लिए, आप Configuration API का उपयोग कर सकते हैं लॉग-जेड.प्रोपर्टीज फ़ाइल में कुंजी-मान जोड़े जोड़ने के लिए जो ड्राइवर और निष्पादकों द्वारा लोड किया गया है। विशेष रूप से, आप अपनी गुणों को स्पार्क-लॉग 4j कॉन्फ़िगरेशन वर्गीकरण में जोड़ना चाहते हैं। - पारित कर दिया जब ईएमआर परवरिश विन्यास के माध्यम से log4j.properties दर्रा

1:

Answer 2

असल में, समर्थन के साथ चैट और प्रलेखन पढ़ने के बाद, मैं वहाँ 2 विकल्प यह करने के लिए उपलब्ध हैं कि देखते हैं। जोनाथन ने इसका जवाब अपने उत्तर पर दिया है।

2 - "--files /path/to/log4j.properties" को शामिल करें अपने स्पार्क-सबमिट कमांड पर स्विच करें। यह log4j.properties फ़ाइल को प्रत्येक स्पार्क एक्जिक्यूटर की कार्यशील निर्देशिका में वितरित करेगा, फिर अपने -Dlog4jconfiguration को केवल फ़ाइल नाम पर इंगित करने के लिए बदलें: "spark.driver.extraJavaOptions = -Dlog4j.configuration = log4j.properties"