मैं यार्न संसाधन प्रबंधक के लिए गतिशील आवंटन स्थापित करने के लिए here निर्देश का पालन कर रहा हूं। Add this jar to the classpath of all NodeManagers in your cluster.अपाचे स्पार्क में गतिशील आवंटन की स्थापना?
इसका मतलब यह है प्रत्येक नोड सर्वर से जाने के लिए और PATH वातावरण चर को shuffle.jar के लिए पथ जोड़ें:
हालांकि, मैं चरण 3 से उलझन में हूँ? export=$PATH:<loc-to-shuffle.jar>?
यार्न क्लासपाथ का अर्थ है कि सभी नोड प्रबंधकों पर या तो yarn.application.classpath को yarn-site.xml में सेट करें जिसमें क्लासस्पैट प्रविष्टियों की अल्पविराम से अलग सूची शामिल है।
जब यह मान खाली होता है, तो YARN अनुप्रयोगों के लिए निम्न डिफ़ॉल्ट क्लासस्पैट का उपयोग किया जाएगा।
लिनक्स के लिए: $ HADOOP_CONF_DIR, $ HADOOP_COMMON_HOME/शेयर/Hadoop/आम/, $ HADOOP_COMMON_HOME/शेयर/Hadoop/आम/lib/, $ HADOOP_HDFS_HOME/शेयर/Hadoop/HDFS/, $ HADOOP_HDFS_HOME/शेयर/Hadoop/HDFS/lib/, $ HADOOP_YARN_HOME/शेयर/Hadoop/यार्न/, $ HADOOP_YARN_HOME/शेयर/Hadoop/यार्न/lib/
के लिए विंडोज:% HADOOP_CONF_DIR%,% HADOOP_COMMON_HOME%/शेयर/Hadoop/आम/, % HADOOP_COMMON_HOME%/शेयर/Hadoop/आम/lib/,% HADOOP_HDFS_HOME%/शेयर/Hadoop/HDFS/,% HADOOP_HDFS_HOME%/शेयर/Hadoop/HDFS/lib/,% HADOOP_YARN_HOME%/शेयर/Hadoop/यार्न/,% HADOOP_YARN_HOME%/शेयर/हडूप/यार्न/lib/
तो yarn.application.classpath या डिफ़ॉल्ट क्लासपाथ निर्देशिका में परिभाषित सूचीबद्ध क्लासपाथ निर्देशिकाओं में से एक में spark-<version>-yarn-shuffle.jar डालें।
तुम भी यार्न classpath निर्देशिका
आशा इस मदद करता है में से एक में spark-<version>-yarn-shuffle.jar के नरम लिंक बना सकते हैं ...
मैं एक बार गतिशील आवंटन नहीं किया और कहा कि था। क्या आप एचडीपी का उपयोग कर रहे हैं? – GwydionFR
'एचडीपी' से आपका क्या मतलब है? मैं एचडीएफएस का उपयोग कर रहा हूं यदि आप यही पूछ रहे हैं –
क्षमा करें, मेरा मतलब है हॉर्टनवर्क्स डेटाप्लेटफार्म। – GwydionFR