डॉकर फ्लुएंट लॉगिंग ड्राइवर मल्टीलाइन

Question

के लिए मैं एक डॉकर पर्यावरण के लिए fluentd का उपयोग कर केंद्रीकृत लॉगिंग सिस्टम बनाने की कोशिश कर रहा हूं। वर्तमान में, मैं फ्लुएंट डॉकर लॉगिंग ड्राइवर का उपयोग करके फ्लैंटड पर डॉकर लॉग भेजने में सक्षम हूं जो कि एक क्लीनर समाधान है जो in_tail विधि का उपयोग करके डॉकर लॉग फ़ाइल पढ़ने की तुलना में है। हालांकि, मैं वर्तमान में बहु लाइन लॉग मुद्दे पर इस मुद्दे का सामना कर रहा हूं।

आप ऊपर चित्र से देख सकते हैं, बहु लाइनों लॉग इन करने के क्रम है जो उपयोगकर्ता के लिए बहुत भ्रामक है से बाहर हैं। क्या इसका हल किया जा सकता है?

धन्यवाद।

Cw

Answer 1

उनके दस्तावेज में पार्स करने multiline पर एक नज़र डालें: http://docs.fluentd.org/articles/parser-plugin-overview#

आप मूल रूप से एक regex कि एक नए लॉग संदेश की शुरुआत से मेल खाएंगे निर्दिष्ट करने के लिए है और वह बहु लॉग एकत्र करने के लिए सक्षम हो जाएगा fluentd एक संदेश में घटनाओं। उनके डॉक्स से एक सामान्य जावा स्टैकट्रेस के लिए

उदाहरण:

format multiline format_firstline /\d{4}-\d{1,2}-\d{1,2}/ format1 /^(?<time>\d{4}-\d{1,2}-\d{1,2} \d{1,2}:\d{1,2}:\d{1,2}) \[(?<thread>.*)\] (?<level>[^\s]+)(?<message>.*)/

Answer 2

मैं जानता हूँ कि यह नहीं और fluentd सवाल का "जवाब" है। एक लॉग लाइन पार्स करने

मैं fluentd के लिए एक समाधान कभी नहीं मिली के बाद

json { 
     source => "log_message" 
     target => "json" 
    } 

उसकी फिल्टर करने के लिए

जोड़कर http://www.labouisse.com/how-to/2015/09/14/elk-and-docker-1-8

JSON समर्थन है, इसलिए इस के साथ चला गया: लेकिन इस गाइड logstash साथ समस्या का हल समाधान के बजाय

अपडेट किया गया लिंक

Answer 3

धाराप्रवाह-प्लगइन-कॉन्सट प्लगिंग का उपयोग करके मुझे उपरोक्त समस्या को ठीक करने में मदद मिली।

धाराप्रवाह-conf में इन पंक्तियों को जोड़ने

<filter **> 
    @type concat 
    key log 
    stream_identity_key container_id 
    multiline_start_regexp /^\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}.\d{3} 
    multiline_end_regexp /^\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}.\d{3} 
</filter> 

मेरे नियमित अभिव्यक्ति लॉग्स में DateTimeStamp के लिए जाँच कर रहा है जहाँ प्रत्येक पंक्ति और

2017-09-21T15:03:27Z tag  {"container_id":"11b0d89723b9c812be65233adbc51a71507bee04e494134258b7af13f089087f","container_name":"/bel_osc.1.bc1k2z6lke1d7djeq5s28xjyl","source":"stdout","log":"2017-09-21 15:03:27.289 INFO 1 --- [   main] org.apache.catalina.core.StandardEngine : Starting Servlet Engine: Apache Tomcat/8.5.6"} 
2017-09-21T15:03:28Z tag  {"container_id":"11b0d89723b9c812be65233adbc51a71507bee04e494134258b7af13f089087f","container_name":"/bel_osc.1.bc1k2z6lke1d7djeq5s28xjyl","source":"stdout","log":"2017-09-21 15:03:28.191 INFO 1 --- [ost-startStop-1] o.a.c.c.C.[Tomcat].[localhost].[/]  : Initializing Spring embedded WebApplicationContext"} 

नीचे का दिनांक और समय-चिह्न ( "log":"2017-09-21 15:03:27.289 पर ध्यान देना) के साथ शुरू होता

इसके अलावा, मुझे प्लगइन

RUN ["gem", "install", "fluent-plugin-concat", "--version", "2.1.0"] 
#Works with Fluentd v0.14-debian 

प्लगइन स्थापित करने के लिए डॉकरफ़ाइल में नीचे पंक्तियां जोड़नी थीं

हालांकि यह अपवाद तब होता है जब कोई अपवाद होता है, लेकिन इससे पहले भी काफी बेहतर होता है। Fluentd Link, for reference।