हमारे पास कई डेटासेंटर में कई मशीनों में वितरित बड़ी संख्या में अनुप्रयोग हैं।लॉग डेटा को संसाधित करने के लिए ट्विटर तूफान का उपयोग करना?
पूरे दिन, हम संकेत (या तो आंतरिक या बाह्य) है, जो प्रत्येक आवेदन भर की घटनाओं की एक झरना का कारण नहीं भेजे जाएंगे।
प्रत्येक सिग्नल इस प्रकार घटना लॉग डेटा की एक बड़ी मात्रा का उत्पादन करता है। लॉगलाइन स्वयं कणिक रूप से संरचित नहीं हैं और वे अनुप्रयोगों के बीच भी काफी अलग हैं। वे हालांकि बुनियादी व्यवहार का पालन करें:
<timestamp> <calling function/method> <payload>
हम loglines कि एक संकेत के लिए लिंक एक साथ घटनाओं में मदद कर सकते हैं आईडी नंबर है - फिर भी, इन सरल नहीं हैं, और हम कभी कभी अन्य तरीकों से करने की कोशिश करने के लिए उपयोग करने की आवश्यकता टुकड़े घटनाओं को एक साथ।
मैं ट्विटर के तूफान प्रणाली के बारे में ऊपर पढ़ रहा है और मैं काफी वास्तविक समय में लॉग डेटा के इस बड़े पैमाने पर विश्लेषण, और यह एक साथ टुकड़ा करने के लिए इसे बाहर की कोशिश में दिलचस्पी रखता हूँ। वास्तविक समय में डेटा से प्रवृत्तियों पर आधारित
- उत्पादन रिपोर्ट और स्ट्रीमिंग रेखांकन:
मैं जैसे कार्य करने के लिए करना चाहते हैं।
- क्वेरी एक संकेत है, तो श्रृंखला में दिए गए चरणों के बीच देरी सहित सभी अनुप्रयोगों में है कि संकेत से संबंधित घटनाओं को एक कड़ी को लाने। (यह महत्वपूर्ण है)।
- सहसंबंधित घटनाओं को देखें, और एक निश्चित घटना के समय एक और एप्लिकेशन क्या कर रहा था में ड्रिल करें।
में डेटा हो रही है?
लॉग डेटा स्थानीय लॉगफ़ाइल में संग्रहीत किया जाता है (और इस परिवर्तन की संभावना नहीं है), तो हम तूफान में ही डेटा में slurp के लिए एक रास्ता नहीं करनी होंगी। लॉगफाइल भी संपीड़ित किया जा सकता है। मैंने फ्लूम, या लॉगस्टैश का उपयोग करने के बारे में हालांकि - इन पर लोगों के विचार क्या हैं? या क्या ऐसे विकल्प हैं जो तूफान के साथ अच्छी तरह से काम करेंगे?
घटनाओं को संग्रहित करना?
मैं भी लाइव रिपोर्ट और रेखांकन के लिए डाटा स्टोर करने के लिए दोनों के लिए एक रास्ता है, साथ ही घटना डेटा ही जरूरत है।
यह दूसरा हिस्सा है जो मुझे थोड़ा मुश्किल लगता है - भंडारण कार्यक्रमों के साथ-साथ उनके बीच के लिंक के लिए किस तरह के स्टोरेज बैकएंड उपयुक्त हैं? क्या किसी प्रकार का ग्राफ डेटाबेस उपयुक्त होगा, उन नए-फंक्ड स्कीमालेस नोएसक्यूएल वाले में से एक, या कुछ और पारंपरिक होगा?
तूफान उपयुक्त है?
अंत में, तूफान इस भूमिका के लिए उपयुक्त है, या कुछ और बेहतर फिट है?
और यदि मैं तूफान के साथ जाता हूं, तो इससे निपटने के लिए मैं किस तरह का दृष्टिकोण ले सकता हूं? मुझे उम्मीद है कि अन्य लोगों को समान समस्याओं के साथ अनुभव होगा।
चीयर्स, विक्टर