5
मैं flestream के रूप में flume के साथ impala का उपयोग कर रहा हूँ।Impala - फ़ाइल त्रुटि नहीं मिली
बैकएंड 0:
समस्या Flume विस्तार .tmp साथ अस्थायी फ़ाइलों को जोड़ रहा है, और फिर जब वे नष्ट हो जाती हैं इम्पाला प्रश्नों निम्न संदेश के साथ असफल रहे हैं है HDFS HDFS फाइल को खोलने में विफल://localhost:8020/user/hive/../FlumeData.1420040201733.tmp त्रुटि (2): इस तरह के कोई फ़ाइल या निर्देशिका
मैं इस tmp फ़ाइलें अनदेखी करने के लिए इम्पाला कर सकते हैं, या Flume लिखने के लिए नहीं उन्हें, या उन्हें दूसरी निर्देशिका में लिखें?
Flume विन्यास:
### Agent2 - Avro Source and File Channel, hdfs Sink ###
# Name the components on this agent
Agent2.sources = avro-source
Agent2.channels = file-channel
Agent2.sinks = hdfs-sink
# Describe/configure Source
Agent2.sources.avro-source.type = avro
Agent2.sources.avro-source.hostname = 0.0.0.0
Agent2.sources.avro-source.port = 11111
Agent2.sources.avro-source.bind = 0.0.0.0
# Describe the sink
Agent2.sinks.hdfs-sink.type = hdfs
Agent2.sinks.hdfs-sink.hdfs.path = hdfs://localhost:8020/user/hive/table/
Agent2.sinks.hdfs-sink.hdfs.rollInterval = 0
Agent2.sinks.hdfs-sink.hdfs.rollCount = 10000
Agent2.sinks.hdfs-sink.hdfs.fileType = DataStream
#Use a channel which buffers events in file
Agent2.channels.file-channel.type = file
Agent2.channels.file-channel.checkpointDir = /home/ubutnu/flume/checkpoint/
Agent2.channels.file-channel.dataDirs = /home/ubuntu/flume/data/
# Bind the source and sink to the channel
Agent2.sources.avro-source.channels = file-channel
Agent2.sinks.hdfs-sink.channel = file-channel
क्या आप मेटाडेटा को अमान्य करने का प्रयास कर सकते हैं और फिर से पूछताछ करने का प्रयास कर सकते हैं? –
मैं यह कर रहा हूं - लेकिन फाइलें दोनों प्रश्नों के बीच अपडेट हो रही हैं –
आपकी फ्लूम कॉन्फ़िगरेशन क्या है? – kichik