2016-12-15 10 views
5

मैं त्रुटियों, सफलता स्थिति आदि के लिए बहुत अलग लॉग फाइल पर नजर रखने की जरूरत है का उपयोग करके फ़ाइलें और मैं Grafana + में प्रोमेथियस और इस शो का उपयोग कर कुछ उस पर चेतावनी सेट इसी मैट्रिक्स हड़पने के लिए की जरूरत है। प्रोमेथियस + ग्राफाना ठीक है, मैं पहले से ही विभिन्न निर्यातकों जैसे node_exporter या mysql_exporter आदि के साथ उनका उपयोग करता हूं। नए ग्राफाना 4.x में भी बहुत अच्छी तरह से काम करता है।निगरानी लॉग कुछ मीट्रिक निर्यातक + प्रोमेथियस + Grafana

लेकिन मैं उपयुक्त निर्यातक/प्रोग्राम है जो उन लोगों से "मक्खी पर" लॉग फाइल और निकालने मीट्रिक का विश्लेषण कर सकता है खोजने के लिए काफी एक समस्या है।

अब तक मैंने कोशिश की:

  • mtail (https://github.com/google/mtail) - काम करता है लेकिन मौजूदा संस्करण आसानी से अधिक फ़ाइलों की निगरानी नहीं कर सकते हैं - सामान्य रूप में यह कुछ विशिष्ट लॉग फ़ाइल + मैं करने के लिए विशिष्ट mtail कार्यक्रम (विश्लेषण के लिए रसीद) के लिए बाध्य नहीं कर सकते नहीं आसानी से
  • grok_exporter (https://github.com/fstab/grok_exporter) टैग में लॉग फ़ाइल नाम जोड़ सकते हैं - काम करता है, लेकिन मैं केवल सीमित जानकारी + एक उदाहरण निकालने जो मतलब मैं और अधिक बंदरगाहों पर निर्यात अधिक उदाहरण शुरू करने और सभी बंद कॉन्फ़िगर करना होगा केवल एक लॉग फ़ाइल की निगरानी कर सकते कर सकते हैं उन्हें प्रोमेथियस में - जो विफलता के बहुत से नए अंक बनाता है
  • fluentd प्रोमेथियस निर्यातक (https://github.com/kazegusuri/fluent-plugin-prometheus) - काम करता है लेकिन लगता है कि मैं सिर्फ बहुत ही सरल मैट्रिक्स निकाल सकते हैं और मैं लॉग फ़ाइल की एक पंक्ति (रों) के किसी भी उन्नत regexp विश्लेषण नहीं कर सकते

किसी भी एक यहाँ वास्तव में एक है करता है "कुछ निर्यातक" + प्रोमेथियस + ग्राफाना का उपयोग कर लॉग फ़ाइलों से उन्नत मीट्रिक की निगरानी के लिए समाधान चल रहा है? या निर्यातक के बजाय कुछ कार्यक्रम जिसमें से मैं प्रोमेथियस पुश गेटवे का उपयोग कर परिणाम ले सकता हूं। धन्यवाद।

+0

लॉग भेजा जाता है/प्रक्रियाओं कहीं कॉन्फ़िगर करने के लिए मिल गया है? किसी भी तरह से उस प्रक्रिया में हुक करना आसान हो सकता है। –

+0

लॉग फ़्लैंटड द्वारा पकड़े गए हैं इसलिए मैंने कोशिश की लेकिन फ्लैंटड प्रोमेथियस निर्यातक का उपयोग करके मेट्रिक्स मैं प्राप्त कर सकता हूं, यह बहुत ही सरल और सीमित प्रतीत होता है। मैंने फ्लैशेंट में अपनी बैश स्क्रिप्ट में बाहरी प्रसंस्करण जोड़ने की कोशिश की लेकिन मुझे नहीं पता कि क्यों फ्लैंटड के अंदर यह लंबे अंतराल के साथ अविश्वसनीय रूप से धीमा था। बाहरी फ्लैंटड स्क्रिप्ट के बाहर ठीक थे – JosMac

उत्तर

1

Telegraf पर एक नजर डालें। यह इनपुट प्लगइन्स logparser और tail का उपयोग कर पूंछ लॉग का समर्थन करता है। मेट्रिक्स को प्रोमेथियस एंडपॉइंट के रूप में निर्यात करने के लिए prometheus_client आउटपुट प्लगइन का उपयोग करें। आप फ्लाई एग्रीगेशंस पर भी आवेदन कर सकते हैं। मैं इसे सरल grok_exporter या mtail से एकाधिक लॉग फ़ाइलों के लिए

+0

हाँ आप सही हैं - मैंने टेलीग्राफ को लागू किया और मुझे जो चाहिए वह संतुष्ट – JosMac

1

वे प्रोमेथियस में लॉग डेटा प्राप्त करने के लिए वर्तमान में 3 उत्तरों हैं।

तुम भी हो रही है जो कुछ भी लॉग उत्पादन सीधे प्रोमेथियस मेट्रिक्स का पर्दाफाश करने पर गौर कर सकता है।

+0

समस्या प्रक्रियाएं काफी अलग हैं (बैश स्क्रिप्ट, प्रोग्राम चलाएं) लेकिन मुख्य समस्या यह है कि उनमें से बहुत सी विरासत चीजें हैं जिनके साथ कोई भी बेकार नहीं होना चाहता। तो लॉग फ़ाइलों को संसाधित करने का सबसे सुरक्षित तरीका है। – JosMac

+0

समस्या भी मैं हर मामले/सर्वर के लिए कम से कम 5 + बहुत अलग लॉग फाइल और 15 वर्ष से अधिक उदाहरणों – JosMac

+1

@JosMac है: तो फिर तुम केंद्रीकृत लॉगिंग (Graylog साथ उदा) और वहाँ से निर्यात मैट्रिक्स चाहते हैं। –

संबंधित मुद्दे