मैं एक अजीब मुद्दे में चल रहा हूं। जब मैं एक बड़े डेटासेट पर मेरे Hadoop काम (> 1TB संकुचित पाठ फ़ाइलें), को कम कार्यों के कई असफल, इस तरह के stacktraces साथ चलाएँ: java.io.IOException: Task: attempt_
क्या फ़्लम एजेंट पर संपीड़न विकल्प निर्दिष्ट करना संभव है ताकि डेटा को संकुचित प्रारूप में कलेक्टर में स्थानांतरित किया जा सके? मुझे पता है कि कलेक्टर स्तर पर संपीड़न विकल्प हैं, लेकिन एजेंट से संकुचि
मैं यह पता लगाने की कोशिश कर रहा हूं कि मानचित्र कार्य का आउटपुट डिस्क पर सहेजा गया है इससे पहले कि इसे कम करें। नोट: - इस्तेमाल किया संस्करण नई एपीआई उदाहरण के लिए साथ Hadoop 0.20.204 है, जब मानचित्र
से डेटा आयात करें मैंने हैडऑप और hbase cdh3u2 स्थापित किया है। हैडऑप में मेरे पास /home/file.txt पथ पर एक फ़ाइल है। इसमें डेटा one,1
two,2
three,3
मैं इस फ़ाइल को hbase में आयात करना चाहता हूं। उस