यार्न yarn.nodemanager.resource.cpu-vcores

Question

का सम्मान नहीं कर रहा है मैं Hadoop-2.4.0 का उपयोग कर रहा हूं और मेरी सिस्टम कॉन्फ़िगरेशन 24 कोर, 96 जीबी रैम हैं।

मैं निम्नलिखित कॉन्फ़िगरेशन

mapreduce.map.cpu.vcores=1 
yarn.nodemanager.resource.cpu-vcores=10 
yarn.scheduler.minimum-allocation-vcores=1 
yarn.scheduler.maximum-allocation-vcores=4 
yarn.app.mapreduce.am.resource.cpu-vcores=1 

yarn.nodemanager.resource.memory-mb=88064 
mapreduce.map.memory.mb=3072 
mapreduce.map.java.opts=-Xmx2048m 

क्षमता समयबद्धक कॉन्फ़िगरेशन

queue.default.capacity=50 
queue.default.maximum_capacity=100 
yarn.scheduler.capacity.root.default.user-limit-factor=2 

ऊपर कॉन्फ़िगरेशन के साथ

, मैं उम्मीद धागा प्रति नोड 10 से अधिक मानचित्रकारों शुरू नहीं होगा का उपयोग कर रहा है, लेकिन यह 28 मानचित्रकारों लॉन्च कर रहा है प्रति नोड क्या मैं कुछ गलत कर रहा हूं ??

Answer 1

यार्न आवंटित कोर की तुलना में अधिक कंटेनर चला रहा है क्योंकि डिफ़ॉल्ट रूप से DefaultResourceCalculator का उपयोग किया जाता है। यह केवल स्मृति मानता है।

public int computeAvailableContainers(Resource available, Resource required) { 
// Only consider memory 
return available.getMemory()/required.getMemory(); 
    } 

डोमिनेंट रिसोर्सकलक्यूलेटर का उपयोग करें, यह सीपीयू और मेमोरी दोनों का उपयोग करता है।

क्षमता scheduler.xml में config नीचे सेट

yarn.scheduler.capacity.resource-calculator=org.apache.hadoop.yarn.util.resource.DominantResourceCalculator 

अधिक के बारे में DominantResourceCalculator