लॉगस्टैश के साथ कई विषम इनपुट कैसे प्रबंधित करें?

Question

मान लीजिए कि आप इस तरह के तकनीकी और व्यावसायिक लॉग के रूप में लॉग के 2 बहुत अलग अलग प्रकार है और आप चाहते हैं:

• कच्चे तकनीकी लॉग एक gelf उत्पादन का उपयोग कर एक graylog2 सर्वर की ओर से कराई जा,
• json व्यापार लॉग संग्रहीत किया समर्पित elasticsearch_http आउटपुट का उपयोग करके एक लोचदार क्लस्टर में।

मुझे पता है कि उदाहरण के लिए Syslog-NG साथ, विन्यास फाइल कई अलग आदानों जो तब भेजा जा रहा से पहले अलग से संसाधित किया जा सकता परिभाषित करने के लिए अनुमति देते हैं; Logstash क्या करने में असमर्थ लगता है। यहां तक ​​कि यदि एक उदाहरण दो विशिष्ट विन्यास फाइलों के साथ शुरू किया जा सकता है, तो सभी लॉग एक ही चैनल लेते हैं और उसी प्रक्रियाओं को लागू किया जा रहा है ...

क्या मुझे कई उदाहरण चलाना चाहिए क्योंकि मेरे पास विभिन्न प्रकार के लॉग हैं?

Answer 1

क्या मुझे कई उदाहरण चलाना चाहिए क्योंकि मेरे पास विभिन्न प्रकार के लॉग हैं?

नहीं! आप विभिन्न प्रकार के लॉग को संभालने के लिए केवल एक उदाहरण चला सकते हैं।

लॉगस्टैश कॉन्फ़िगरेशन फ़ाइल में, आप अलग-अलग type के साथ प्रत्येक इनपुट को विशिष्ट कर सकते हैं। फिर फ़िल्टर में आप अलग-अलग प्रसंस्करण, पर आउटपुट पर if का उपयोग कर सकते हैं और आउटपुट पर भी आप "if" आउटपुट को विभिन्न गंतव्य पर उपयोग कर सकते हैं।

input { 
    file { 
      type => "technical" 
      path => "/home/technical/log" 
    } 
    file { 
      type => "business" 
      path => "/home/business/log" 
    } 
} 
filter { 
    if [type] == "technical" { 
      # processing ....... 
    } 
    if [type] == "business" { 
      # processing ....... 
    } 
} 
output { 
    if [type] == "technical" { 
      # output to gelf 
    } 
    if [type] == "business" { 
      # output to elasticsearch 
    } 
} 

आशा इस मदद कर सकता है :)

Answer 2

मुझे लगता है कि logstash इनपुट अनुभाग में अधिक से अधिक 2 फ़ाइलें नहीं पढ़ सकता। कोशिश नीचे

input { 
    file { 
      type => "technical" 
      path => "/home/technical/log" 
    } 
    file { 
      type => "business" 
      path => "/home/business/log" 
    } 
file { 
      type => "business1" 
      path => "/home/business/log1" 
    } 
} 

Answer 3

मैं एकाधिक फ़ाइल इनपुट के लिए टैग का उपयोग किया:

input { 
    file { 
     type => "java" 
     path => "/usr/aaa/logs/stdout.log" 
     codec => multiline { 
      ... 
     }, 
     tags => ["aaa"] 
    } 

    file { 
     type => "java" 
     path => "/usr/bbb/logs/stdout.log" 
     codec => multiline { 
       ... 
     } 
     tags => ["bbb"] 
    } 
} 
output { 
    stdout { 
     codec => rubydebug 
    } 
    if "aaa" in [tags] { 
     elasticsearch { 
      hosts => ["192.168.100.211:9200"] 
      index => "aaa" 
      document_type => "aaa-%{+YYYY.MM.dd}" 
     } 
    } 

    if "bbb" in [tags] { 
     elasticsearch { 
      hosts => ["192.168.100.211:9200"] 
      index => "bbb" 
      document_type => "bbb-%{+YYYY.MM.dd}" 
     } 
    } 
}