मैंने मशीनों के क्लस्टर पर चल रहे हडोप और मैप-कमी के बारे में बहुत कुछ पढ़ा है। क्या कोई जानता है कि अपाचे वितरण कई कोरों के साथ एसएमपी पर चलाया जा सकता है या नहीं। विशेष रूप से, एक ही मशीन पर एकाधिक मैप-घटा प्रक्रियाएं चल सकती हैं। शेड्यूलर उन्हें कई कोरों में फैलाने का ख्याल रखेगा। धन्यवाद। - केजीमडिकोर मशीनों पर हडोप और मानचित्र-कमी
हां। आप एक से अधिक नक्शा है और प्रत्येक मशीन जो रैम और सीपीयू द्वारा निर्धारित कर रहे हैं में स्लॉट को कम (प्रत्येक JVM उदाहरण डिफ़ॉल्ट रूप से 1GB की जरूरत है तो एक 8GB मशीन 16 कोर के साथ अभी भी 7 कार्य स्लॉट होना चाहिए) hadoop wiki
से
विन्यास knob का उपयोग करें: mapred.tasktracker.map.tasks.maximum और mapred.tasktracker.reduce.tasks.maximum मानचित्रों की संख्या को नियंत्रित करने के लिए अधिकतम/एक टास्कट्रैकर पर एक साथ उत्पन्न हो जाता है। डिफ़ॉल्ट रूप से, यह 2 पर सेट होता है, इसलिए कोई अधिकतम 2 मानचित्र देखता है और 2 टास्कट्रैकर पर दिए गए उदाहरण पर 2 कम हो जाता है।
आप उन प्रति-कार्यकर्ताओं के आधार पर अपने हार्डवेयर को सटीक रूप से प्रतिबिंबित करने के लिए सेट कर सकते हैं (यानी उन लोगों को उच्च संख्या में सेट करें, एक बीफियर टास्कट्रैकर इत्यादि)।
आप मल्टीकोर कंप्यूटरों के लिए उन हल्के मैपरेडस फ्रेमवर्क का उपयोग कर सकते हैं।
उदाहरण के लिए
LeoTask: मल्टीकोर कंप्यूटर
अपाचे Hadoop 2.7.3 के लिए के लिए एक, हल्के उत्पादक, और विश्वसनीय mapreduce ढांचे, मेरे अनुभव यह रहा है कि यार्न सक्रिय करने के भी सक्षम हो जाएगा बहु-कोर समर्थन। यहाँ एक ही नोड पर यार्न को सक्षम करने के लिए एक सरल गाइड है:
डिफ़ॉल्ट कॉन्फ़िगरेशन बहुत अच्छी तरह से काम करने के लिए लगता है। यदि आप अपने मूल उपयोग को ट्यून करना चाहते हैं, तो शायद yarn-site.xml (https://hadoop.apache.org/docs/r2.7.1/hadoop-yarn/hadoop-yarn-common/yarn-default.xml)
के भीतर 'yarn.scheduler.minimum-allocation-vcores' और 'yarn.scheduler.maximum-allocation-vcores' को सेट करने में देखें। साथ ही, मल्टीकोर समर्थन के साथ एक सरल हैडोप सैंडबॉक्स को कॉन्फ़िगर करने के निर्देशों के लिए यहां देखें: https://bitbucket.org/aperezrathke/hadoop-aee