2013-08-07 12 views
5

यह बहुत अच्छा होगा अगर कोई मुझे आर्किटेक्चरल मतभेद ट्विटर तूफान और अपाचे हैडोप के बीच समझा सकता है? मैं वास्तविक समय वी/एस बैच प्रोसेसिंग से परे कुछ आंतरिक सामानों की तलाश में हूं। चूंकि हडोप विभाजन के लिए टास्क ट्रैकर/जॉब ट्रैकर और तूफान के समकक्ष निंबस/पर्यवेक्षक के मामले में, हडोप विभाजन और समकक्ष शफलिंग के मामले में, दोनों प्रौद्योगिकियां तूफान के लिए टोपोलॉजी लिखने या हडोप पर कम करने के संदर्भ में शांत हैं। , फील्ड इत्यादि) (क्या मैं सही हूं अगर मैं कहता हूं कि तूफान स्पॉट्स/बोल्ट के बीच डेटा परिवहन के लिए आंतरिक रूप से संदेश कतार का उपयोग करता है जो वास्तव में हैडोप के साथ मामला नहीं है जहां मध्यवर्ती फाइलें बनाई गई हैं और इसलिए I/O शामिल)ट्विटर तूफान v/s अपाचे हैडोप

संपादित करें:।

मैं सवाल Apache Storm compared to Hadoop माध्यम से चले गए लेकिन स्वीकार किए जाते हैं जवाब मुझे एक इच्छा सिर्फ उपयोग के मामले यानी वास्तविक समय v/s बैच प्रोसेसिंग की तुलना में अधिक पता करने के लिए साथ छोड़ देता है।

+2

विश्वसनीय सिस्टम की वास्तुकला आमतौर पर लगभग समान होती है। जैसा कि आपने बताया, केवल वास्तविक अंतर डेटा संग्रह और भेजने की रणनीति है। –

उत्तर

3

नाथन मार्ज़ (तूफान निर्माता) Big Data के बारे में एक पुस्तक लिख रहा है जहां वह चर्चा करता है कि हाडोप, तूफान और अन्य तकनीकों के साथ बड़ी डेटा सिस्टम कैसे बनाएं।

पुस्तक "लैम्ब्डा आर्किटेक्चर" पर चर्चा कर रही है। नेथन मार्ज़ द्वारा इस स्लाइड को चेकआउट करें: Runaway complexity in Big Data... and a plan to stop it

+0

मैं पुस्तक को रिलीज़ होने के लिए बहुत लंबा इंतजार कर रहा हूं। – anhldbk

7

मुख्य अंतर यह है कि तूफान टुपल एस (आने वाले डेटा) की धाराओं के रीयलटाइम प्रोसेसिंग कर सकता है जबकि हैडोप मैपरेडस नौकरियों के साथ बैच प्रोसेसिंग कर सकता है।

दोनों डेटा वितरित तरीके से संसाधित करते हैं, लेकिन तूफान के साथ आप लाइव एनालिटिक्स प्राप्त कर सकते हैं, जबकि आपको अपने परिणामों के साथ खेलने से पहले मैप्रिडस नौकरी का इंतजार करना होगा।

संबंधित मुद्दे