क्लस्टर प्रारंभ नहीं कर सकता। कृपया mapreduce.framework.name के लिए अपनी कॉन्फ़िगरेशन जांचें और संबंधित सर्वर पते-सबमिशन जॉब 2remoteClustr

Question

मैंने हाल ही में अपाचे हैडोप 1.0 से सीडीएच 4.4.0 तक अपने क्लस्टर को अपग्रेड किया है। मेरे पास एक अन्य मशीन में एक वेबलॉगिक सर्वर है जहां से मैं मैप्रिडस क्लाइंट के माध्यम से इस रिमोट क्लस्टर में नौकरियां जमा करता हूं। मैं अभी भी एमआर 1 और यार्न का उपयोग नहीं करना चाहता हूं। मैंने सीडीएच इंस्टॉलेशन (/ usr/lib/hadoop/client/*)

में क्लाइंट जार के खिलाफ अपना क्लाइंट कोड संकलित किया है जॉब क्लाइंट उदाहरण बनाते समय निम्न त्रुटि प्राप्त हो रही है। एक ही मुद्दे से संबंधित कई पोस्ट हैं लेकिन सभी समाधान स्थानीय क्लस्टर को नौकरी जमा करने के परिदृश्य को संदर्भित करते हैं, न कि दूरस्थ रूप से और विशेष रूप से मेरे मामले में एक डब्लूएलएस कंटेनर से।

JobClient jc = new JobClient(conf);

Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name and the correspond server addresses.

लेकिन क्लस्टर पर कमांड प्रॉम्प्ट से चल बिल्कुल ठीक काम करता है।

अपनी समय पर सहायता की सराहना करें!

Answer 1

ऐसा लगता है कि आपका ऐप आपकी पुरानी हैडोप 1.x कॉन्फ़िगरेशन फ़ाइलों को देख रहा है। हो सकता है कि आपके ऐप हार्ड कॉन्फ़िगरेशन को कुछ कॉन्फ़िगर करें? यह त्रुटि इंगित करती है कि आप नए क्लाइंट पुस्तकालयों का उपयोग कर रहे हैं लेकिन वे नई शैली की कॉन्फ़िगरेशन नहीं देख रहे हैं।

यह मौजूद होना चाहिए क्योंकि कमांड लाइन उपकरण उन्हें ठीक दिखते हैं। अपने HADOOP_HOME या HADOOP_CONF_DIR env चरों को भी जांचें, हालांकि कमांड लाइन टूल्स लेने के लिए यह वही है, और वे काम करते हैं।

ध्यान दें कि आपको 'मैड्रिडस' सेवा स्थापित करने की आवश्यकता है और सीडीएच 4.4 में 'यार्न' नहीं है ताकि इसे एमआर 1 ग्राहकों के साथ संगत बनाया जा सके। मेवेन में '...- mr1 -...' कलाकृतियों को भी देखें।

Answer 2

मेरे मामले में, यह त्रुटि जार के संस्करण के कारण थी, सुनिश्चित करें कि आप सर्वर में समान संस्करण का उपयोग कर रहे हैं।

Answer 3

निर्यात HADOOP_MAPRED_HOME =/क्लाउडेरा/पार्सल/CDH-4.1.3-1.cdh4.1.3.p0.23/lib/Hadoop-0.20-mapreduce

Answer 4

मैं करने के लिए इसी तरह की एक त्रुटि थी और निम्नलिखित जार जोड़ा classpath और यह मेरे लिए काम किया: hadoop-mapreduce-client-jobclient-2.2.0.2.0.6.0-76:hadoop-mapreduce-client-shuffle-2.3.0.jar:hadoop-mapreduce-client-common-2.3.0.jar

Answer 5

मैं अपने मामले मैं sqoop 1.4.5 चल रहा था और नवीनतम Hadoop 2.0.0-cdh4.4.0 जो धागा सामान था करने के लिए इसे ओर इशारा करते हुए भी thats क्यों यह शिकायत की गई थी।

जब मैंने sqoop को हैडऑप-0.20/2.0.0-cdh4.4.0 (एमआर 1 मुझे लगता है) पर यह इंगित किया।

Answer 6

मेरे मामले में, आश्चर्यजनक रूप से यह त्रुटि इसलिए थी क्योंकि मेरी 'core-site.xml' फ़ाइल में, मैंने "होस्टनाम" के बजाय "आईपी पता" का उल्लेख किया था। जिस पल में मैंने आईपी पते के स्थान पर "होस्टनाम" का उल्लेख किया और "core-site.xml" और "mapred.xml" में और मैप्रिडस lib फ़ाइलों को पुनः स्थापित किया, त्रुटि हल हो गई।