flume

5गर्मी

1उत्तर

मैं flestream के रूप में flume के साथ impala का उपयोग कर रहा हूँ। बैकएंड 0: समस्या Flume विस्तार .tmp साथ अस्थायी फ़ाइलों को जोड़ रहा है, और फिर जब वे नष्ट हो जाती हैं इम्पाला प्रश्नों निम्न संदेश के

5गर्मी

2उत्तर

पर डेटा स्ट्रीम करने के लिए फ़्लूम का उपयोग करें, मैं कुछ आसान के लिए फ्लूम की कोशिश कर रहा हूं, जहां मैं अपनी लॉग फ़ाइलों से सामग्री को S3 पर धक्का देना चाहता हूं। मैं एक फ्लम एजेंट बनाने में सक्षम थ

6गर्मी

3उत्तर

इस प्रकार का उपयोग कर <code>json</code> प्रारूप में <em>पोस्ट</em> घटनाओं प्राप्त करने के लिए सही ढंग से Flume

मैं Flume में HTTPSource उपयोग कर रहा हूँ HDFS में JSON सम्मिलित करने के लिए कैसे: {"username":"xyz","password":"123"} मेरा प्रश्न है: मैं के स्रोत को संशोधित करने के है [{ "headers" : {

7गर्मी

3उत्तर

सिंक elasticsearch apache-flume

कॉन्फ़िगर करें यह मेरा पहला समय है, इसलिए क्षमा करें अगर मैं ठीक पोस्ट नहीं करता हूं, और मेरी खराब अंग्रेजी के लिए खेद है। मैं अपाचे फ्ल्यूम और लोचदार खोज सिंक को कॉन्फ़िगर करने की कोशिश कर रहा हूं। स

5गर्मी

1उत्तर

फ़ाइल चैनल

का उपयोग कर फ़्लम में उपयोग योग्य स्थान समाप्त हो गया है, मैं स्रोत के रूप में स्पूल निर्देशिका के साथ फ्लूम पर काम कर रहा हूं, सिंक के रूप में एचडीएफएस और चैनल के रूप में फ़ाइल। फ्लूम नौकरी निष्पादित

8गर्मी

3उत्तर

अपाचे स्पार्क स्ट्रीमिंग

का उपयोग कर वास्तविक समय लॉग प्रोसेसिंग मैं एक सिस्टम बनाना चाहता हूं जहां मैं वास्तविक समय में लॉग पढ़ सकता हूं, और इसे संसाधित करने के लिए अपाचे स्पार्क का उपयोग कर सकता हूं। मैं उलझन में हूं अगर मु

5गर्मी

1उत्तर

Flume HDFS सिंक: फ़ाइल नाम

मैं अपने आवेदन के लिए Flume एजेंट कॉन्फ़िगर किया गया है, जहां स्रोत Spooldir है और सिंक HDFS है मैं HDFS में फ़ाइलों को इकट्ठा करने में सक्षम हूँ से टाइमस्टैम्प निकालें। एजेंट विन्यास है: agent.source

7गर्मी

1उत्तर

फ्लूम ट्विटर एजेंट द्वारा उत्पन्न एवरो टेक्स्ट फ़ाइल जावा में पढ़ा नहीं जा रहा है

फ़्लम ट्विटर एजेंट का उपयोग करके ट्विटर डेटा स्ट्रीम करके बनाई गई फ़ाइल को पढ़ने और पार्स करने में सक्षम नहीं है, न तो जावा और न ही एरो टूल्स का उपयोग कर। मेरी आवश्यकता है एवरो प्रारूप को जेएसओएन प्रा

7गर्मी

2उत्तर

अपाचे फ्लूम ट्विटर एजेंट डेटा स्ट्रीम नहीं कर रहा है

मैं ट्विटर फीड को एचडीएफएस स्ट्रीम करने की कोशिश कर रहा हूं और फिर हाइव का उपयोग कर रहा हूं। लेकिन पहला भाग, स्ट्रीमिंग डेटा और एचडीएफएस को लोड करना काम नहीं कर रहा है और नल पॉइंटर अपवाद दे रहा है। यह

9गर्मी

2उत्तर

फ्लोट

के साथ रिमोट नोड से एचडीएफएस में फ़ाइलों को स्थानांतरित करना मेरे पास * gz प्रारूप में संपीड़ित बाइनरी फ़ाइलों का एक गुच्छा है। ये रिमोट नोड पर उत्पन्न होते हैं और डेटासेंटर के सर्वर में से एक स्थित ए