2013-06-17 7 views
5

मैं संख्यात्मक डेटा स्ट्रीमिंग की काफी बड़ी मात्रा (> 30 जी/दिन) संसाधित करने के लिए प्रोटोटाइप रीयलटाइम मॉनीटर तैयार कर रहा हूं। मैं क्लोजर में इसे लिखना चाहता हूं, क्योंकि भाषा "पर्यवेक्षक + राज्य मशीन" प्रणाली के लिए उपयुक्त है, जो शायद समाप्त हो जाएगी।लैमिना बनाम तूफान

दो मुख्य उम्मीदवार जिन्हें मैंने ढांचे के लिए पाया है वे लैमिना और तूफान हैं। रिमेंन और पल्स भी हैं, लेकिन पूर्व ढांचे के बजाय एक पूर्ण समाधान के रूप में प्रतीत होता है, और मैं अभी तक अंतिम डिजाइन में प्रतिबद्ध नहीं हूं; पल्स का रेपो थोड़ा अस्पष्ट दिखता है?

मैं क्या जानना चाहता हूं; इन दो परियोजनाओं के लिए अनुकूलित किस प्रकार के डेटा- और कार्य प्रवाह हैं? तूफान अधिक परिपक्व प्रतीत होता है, लेकिन लैमिना अधिक संगत और "क्लोज़ूरिक" लगता है (मेरी पृष्ठभूमि पाइथन है, इसलिए मैं इसे अत्यधिक रेट करता हूं)।

मैं ऑनलाइन पढ़ने से क्या मिल गया है:

  • तूफान, होना करने के लिए बिग डाटा (धारा) ध्यान केंद्रित लगता कोर एक Clojure डीएसएल के साथ सीधे जावा है। ऐसा लगता है कि कई मौजूदा डेटा स्रोतों के लिए पूर्व = निर्मित हैंडलर हैं।

  • लैमिना अधिक हल्का, पुन: प्रयोज्य घटक है जो अबास्ट्रक्शन को कोडिंग की क्लोजर चीज़ करता है, जिसका अर्थ है कि यह reused as a base for other eventing systems हो सकता है। डेटा स्रोतों को कोड में संभालने की आवश्यकता है।

  • दोनों के पास बॉक्स के बाहर एकत्रीकरण/विभाजन/गणना पुस्तकालय कार्यों का एक उपयोगी सेट है। लैमिना का ग्राफविज़ एकीकरण एक अच्छा स्पर्श है।

उत्तर

4

तूफान, क्योंकि यह एक तरह से होना करने के लिए "Hadoop की तरह लेकिन स्ट्रीमिंग के लिए" मैं क्या अपनी आवश्यकताओं की समझ में से अपने उपयोग के करीब हो रहा है जो डिजाइन किया गया था, प्रवाह में क्लस्टर प्रबंधन और विफल नोड्स की हैंडलिंग को शामिल किया गया मामला।

+0

यह एक बहुत सी चीजें बंडल देता है, इसलिए मैं इसे आज़माकर देख रहा हूं कि यह अधिक है या नहीं। लैमिना, मेरे साथ झुकाव से, थोड़ा बहुत कम स्तर लगता है, हालांकि बहुत सुव्यवस्थित और सुरुचिपूर्ण। धन्यवाद! – CLF

1

लैमिना ठीक विकल्प की तरह दिखता है, लेकिन ऐसा लगता है कि यह तूफान - क्लस्टर कंप्यूटिंग प्रबंधन की हत्यारा सुविधा की पूरी कमी है। एक तूफान क्लस्टर नोड्स के समूह में अपनी गणना को वितरित करने के अधिकांश गंदे कामों का ख्याल रखेगा, जिससे आप अपने व्यापार तर्क पर ध्यान केंद्रित कर सकते हैं जब तक कि आप इसे तूफान ढांचे के भीतर फिट करते हैं। लैमिना, जो मैं देख सकता हूं, आपकी गणना को व्यवस्थित करने का एक अच्छा तरीका प्रदान करता है, लेकिन फिर आपको स्केलिंग के सभी विवरणों का ख्याल रखना होगा यदि आपको ऐसा कुछ चाहिए।

8

तूफान शायद खराब विकल्प नहीं है, लेकिन संख्यात्मक डेटा के "प्रति दिन 30GB से अधिक" बड़ा डेटा नहीं है, यह छोटा डेटा है। कोई भी अर्द्ध-आधुनिक कंप्यूटर लमीना के साथ एक नोड पर आसानी से उस डेटा को संभाल सकता है। आप वैसे भी तूफान के साथ जाना चाह सकते हैं, ताकि एक बार जब आप एक ऐसे क्षेत्र में प्रवेश कर सकें जहां आपको अधिक सर्वर की आवश्यकता हो, तो आप आसानी से स्केल कर सकते हैं, लेकिन मुझे लगता है कि तूफान स्थापित करने के लिए कुछ शुरुआती घर्षण है (और क्लस्टर को बनाए रखने में कुछ चल रही घर्षण) , अगर आपको कभी भी स्केल नहीं करना पड़ेगा तो बर्बाद हो जाएगा।

संबंधित मुद्दे