oozie कार्यप्रवाह

Question

(Why does the oozie luncher consume 2 yarn containers? के अनुसार)

मैं 1900 कोर और 11TB रैम के साथ क्लस्टर के लिए एक आवेदन मास्टर चलाएँ। और मैं अपने Oozie WF के लिए कार्यप्रवाह के अगले संरचना है:

• लगभग 300-400 उसी संरचना है कि (कांटा नियंत्रण नोड द्वारा) समानांतर में चलेंगे
• इन subflows में साथ subworkflows एक-एक करके 2-3 घंटे (लंबी अवधि चिंगारी कार्यों)

- कई कार्यों (जावा कार्रवाई, चिंगारी कार्य, खोल कार्यों)

subflows से कुछ 3-5 मिनट में निष्पादित कर सकते हैं, उनमें से कुछ को चलाने

सवाल यह है - क्या इन सबवर्कफ्लो को एकल कंटेनर (एप्लिकेशन मास्टर) में चलाने के लिए संभव है? डिफ़ॉल्ट रूप से, प्रत्येक सबवर्कफ्लो ओज़ी/यार्न के लिए दो कोर का उपयोग होता है: एक के लिए एएम और एक मानचित्र-कम करने के लिए कार्य (नियंत्रक)। और यह बाधा है - मेरे क्लस्टर के सभी कोरों में से 1/3 केवल नियंत्रित करने के लिए उपयोग किए जाते हैं, लेकिन

Answer 1

मुझे लगता है कि आप ओज़ी एक्शन जॉब लॉन्च करने वाले कंटेनर को बचाने के लिए ओज़ी के उबेर मोड का उपयोग कर सकते हैं। एएम इसे एक अलग कंटेनर से करने की बजाए कार्रवाई शुरू करेगा।

निम्नलिखित संपत्ति को oozie-site.xml में जोड़ें।

<property> 
    <name>oozie.action.launcher.mapreduce.job.ubertask.enable</name> 
    <value>true</value> 
</property>