YARN

Question

में नौकरी के लिए कुल संसाधन आवंटन मैं हडोप में नया हूं। जब मैं नौकरी चलाता हूं, तो मुझे उस नौकरी के लिए कुल संसाधन आवंटन 251248654 एमबी-सेकंड, 24462 vcore-सेकंड के रूप में दिखाई देता है। हालांकि, जब मुझे क्लस्टर के बारे में विवरण मिलते हैं, तो यह दिखाता है कि 888 वोकोर्स-कुल और 15.90 टीबी मेमोरी-कुल हैं। क्या कोई मुझे बता सकता है कि यह कैसे संबंधित है? एमबी-सेकेंड और वोकोर-सेकेंड नौकरी के लिए क्या संदर्भित करता है।

क्या इन्हें जानने के लिए कोई सामग्री ऑनलाइन है? मैंने सर्फिंग करने की कोशिश की, डिन को उचित उत्तर प्राप्त करें

Answer 1

VCores-Total: Indicates the total number of VCores available in the cluster 
Memory-Total: Indicates the total memory available in the cluster. 

उदा। मेरे पास एक एकल नोड क्लस्टर है, जहां, मैंने प्रति कंटेनर प्रति मेमोरी आवश्यकताएं निर्धारित की हैं: 1228 एमबी (कॉन्फ़िगरेशन द्वारा निर्धारित: yarn.scheduler.minimum-allocation-mb) और vCores प्रति कंटेनर 1 vCore (कॉन्फ़िगर द्वारा निर्धारित: yarn.scheduler.minimum-allocation-vcores)।

मैंने सेट किया है: yarn.nodemanager.resource.memory-mb से 9830 एमबी। तो, प्रति नोड (9830/1228 = 8) पूरी तरह से 8 कंटेनर हो सकते हैं।

तो, मेरी क्लस्टर के लिए:

VCores-Total = 1 (node) * 8 (containers) * 1 (vCore per container) = 8 
Memory-Total = 1 (node) * 8 (containers) * 1228 MB (memory per container) = 9824 MB = 9.59375 GB = 9.6 GB 

नीचे आकृति, मेरे क्लस्टर मीट्रिक दिखाती है:

अब

के "MB-सेकंड" और "Vcore-सेकंड" देखते हैं । कोड (ApplicationResourceUsageReport.java) में वर्णन के अनुसार:

MB-सेकंड: स्मृति की संकलित राशि (मेगाबाइट में) आवेदन बार आवंटित किया है सेकंड आवेदन चल रहा है की संख्या।

vcore-सेकंड: कुल संख्या में vocres की संख्या को आवंटित किया गया है जब एप्लिकेशन आवंटित किए गए सेकंड की संख्या को आवंटित करता है।

विवरण स्वयं व्याख्यात्मक है (कुंजी शब्द याद रखें: समेकित)।

मुझे इसे एक उदाहरण के साथ समझाएं।

For memory: 
10361661 MB-seconds = 10361661/25 (containers)/1228 MB (memory per container) = 337.51 seconds = 5.62 minutes 

For CPU 
8424 vcore-seconds = 8424/25 (containers)/1 (vCore per container) = 336.96 seconds = 5.616 minutes 

यह:

Aggregate Resource Allocation : 10361661 MB-seconds, 8424 vcore-seconds 

अब, चलो कितना समय प्रत्येक कंटेनर ले लिया पर कुछ किसी न किसी गणना करते हैं: मैं एक DistCp काम (जो 25 कंटेनरों पैदा की), जिसके लिए मैं निम्नलिखित मिल गया भागा औसत पर इंगित करता है, प्रत्येक कंटेनर को निष्पादित करने के लिए 5.62 मिनट लगते हैं।

आशा है कि यह स्पष्ट हो जाए। आप नौकरी निष्पादित कर सकते हैं और इसे स्वयं पुष्टि कर सकते हैं।