किसी उपलब्ध विभिन्न Hadoop वितरण के बीच विभिन्न अंतर की रूपरेखा तैयार कर सकते हैं: क्लाउडेरा - http://www.cloudera.com/hadoop याहू - http://developer.yahoo.net/blogs/hadoop/ अपाचे Hadoop distro के रूप
में उपलब्ध reducers मुझे उम्मीद है कि मैं इसे सही तरीके से पूछ रहा हूँ। मैं लोचदार MapReduce के आसपास अपना रास्ता सीख रहा हूं और मैंने "कुल" reducer के कई संदर्भ देखे हैं जिनका उपयोग "स्ट्रीमिंग" नौकर
अतीत में मैं MySQL पर चल रहे ओलाप क्यूब्स का उपयोग करके वेबएनालिटिक्स का निर्माण करता था। अब एक ओलाप क्यूब जिस तरह से मैंने इसका इस्तेमाल किया है वह बस एक बड़ी मेज है (ठीक है, यह उससे थोड़ा अधिक स्मार
पर मैपरेडस के लिए हैडोप या हाडोप स्ट्रीमिंग मैं एक मैड्रिडस प्रोजेक्ट शुरू करने वाला हूं जो एडब्ल्यूएस पर चलेगा और मुझे जावा या सी ++ का उपयोग करने के लिए एक विकल्प के साथ प्रस्तुत किया गया है। मैं सम
से हाडोप मैप्रिडस स्ट्रीमिंग मैं एक हैडोप (0.20.1) मैप्रिडस जॉब का निर्माण कर रहा हूं जो एचबीएस (0.20.1) का उपयोग डेटा स्रोत और डेटा सिंक दोनों के रूप में करता है। मैं पाइथन में नौकरी लिखना चाहता हूं
मैं एडब्ल्यूएस (एक स्ट्रीमिंग नौकरी) के माध्यम से एक नक्शा केवल नौकरी बनाने की कोशिश कर रहा हूँ। रेड्यूसर फ़ील्ड आवश्यक है, इसलिए मैं एक डमी निष्पादन योग्य दे रहा हूं, और अतिरिक्त Args बॉक्स में -jobc
मैं एक ऐसी परियोजना पर काम कर रहा हूं जो बहुत बड़ी मात्रा में डेटा का विश्लेषण करने से संबंधित है, इसलिए मैंने हाल ही में मैपरेडस की खोज की, और इससे पहले कि मैं इसमें आगे बढ़ूं, मैं यह सुनिश्चित करना
जहां तक मैं समझता हूं, एमपीआई मुझे क्लस्टर में बिल्कुल अलग नोड्स संवाद करने के तरीके पर अधिक नियंत्रण देता है। मैपरेडस/हाडोप में, प्रत्येक नोड कुछ गणना करता है, अन्य नोड्स के साथ डेटा का आदान-प्रदान
जब मैं हैडोप का उपयोग करके मैप्रिडस प्रोग्राम चलाता हूं, तो मुझे निम्न त्रुटि मिलती है। 10/01/18 10:52:48 INFO mapred.JobClient: Task Id : attempt_201001181020_0002_m_000014_0, Status : FAILED
ja
में अलग आउटपुट फ़ाइलों को उत्पन्न करना केवल एक मैपर (एक पायथन स्क्रिप्ट) और कोई रेड्यूसर का उपयोग करके, आउटपुट की लंबी फाइलों के बजाय आउटपुट की प्रत्येक पंक्ति के लिए, फ़ाइल नाम के रूप में कुंजी के सा