mrjob

5गर्मी

4उत्तर

हैडऑप स्ट्रीमिंग और mrjob का उपयोग करके नौकरी चला रहा है: PipeMapRed.waitOutputThreads(): कोड 1

के साथ उपप्रोसेस विफल रहा अरे मैं बिग डेटा की दुनिया के लिए बिल्कुल नया हूं। मैं http://musicmachinery.com/2011/09/04/how-to-process-a-million-songs-in-20-minutes/ यह कैसे mrjob का उपयोग कर दोनों स्था

5गर्मी

1उत्तर

मैं mrjob

का उपयोग कर एक निर्देशिका के तहत सभी फ़ाइलों को पुन: संसाधित कैसे कर सकता हूं, मैं फ़ाइलों के बैच को संसाधित करने और कुछ आंकड़े प्राप्त करने के लिए mrjob का उपयोग कर रहा हूं। मैं जानता हूँ कि मैं एक ए

6गर्मी

2उत्तर

एमआरओबी

में इनपुट फ़ाइल का नाम कैसे प्राप्त करें मैं mrjob का उपयोग कर एक मानचित्र फ़ंक्शन लिख रहा हूं। मेरा इनपुट एचडीएफएस पर निर्देशिका में फाइलों से आएगा। फ़ाइलों के नामों में एक छोटी लेकिन महत्वपूर्ण टुकड

6गर्मी

4उत्तर

MRJob

के साथ एकाधिक इनपुट मैपरेडस, एमआरजेब के लिए येल्प के पायथन एपीआई का उपयोग करना सीखने की कोशिश कर रहा हूं। उनका सरल शब्द काउंटर उदाहरण समझ में आता है, लेकिन मुझे उत्सुकता है कि एक व्यक्ति एकाधिक इनपुट

12गर्मी

2उत्तर

mrjob: अमान्य बूटस्ट्रैप एक्शन पथ, अमेज़ॅन एस 3

में एक स्थान होना चाहिए। मैं विंडोज 7 पर हूं। मैंने mrjob स्थापित किया है और जब मैं वेबसाइट से example word_count file चलाता हूं, तो यह स्थानीय मशीन पर ठीक काम करता है। हालांकि, मुझे अमेज़ॅन ईएमआर पर

9गर्मी

2उत्तर

अमेज़ॅन लोचदार MapReduce के साथ बेवकूफ और Scipy

अमेज़ॅन के लोचदार MapReduce पर पायथन कोड चलाने के लिए mrjob का उपयोग मैं सफलतापूर्वक ईएमआर छवि के numpy और scipy अपग्रेड करने के लिए एक रास्ता मिल गया है। कंसोल से चल रहा है निम्नलिखित कमांड का काम: t

6गर्मी

2उत्तर

ईएमआर

पर पायथन निर्भरता प्रबंधन मैं mazjob/boto मॉड्यूल के माध्यम से अमेज़ॅन के ईएमआर को कोड भेज रहा हूं। मुझे कुछ बाहरी पायथन निर्भरताएं मिली हैं (यानी numpy, boto, आदि) और वर्तमान में पाइथन पैकेज के स्रोत

6गर्मी

1उत्तर

पाइथन से धावक के लिए इनपुट फ़ाइल निर्दिष्ट कैसे करता है?

मैं अपने लैपटॉप पर पाइथन mrjob मॉड्यूल (अमेज़ॅन लोचदार कंप्यूट क्लाउड या किसी भी बड़े क्लस्टर पर नहीं) के माध्यम से मैप्रिडस नौकरी चलाने के लिए एक बाहरी स्क्रिप्ट लिख रहा हूं। मैंने mrjob documentatio