अपाचे स्पार्क बनाम अपाचे तूफान

Question

Apache Spark और Apache Storm के बीच क्या अंतर है? प्रत्येक के लिए उपयुक्त उपयोग के मामले क्या हैं?

Answer 1

अपाचे स्पार्क एक में स्मृति वितरित डेटा विश्लेषण platform-- मुख्य रूप से बैच विश्लेषण रोजगार, पुनरावृत्ति मशीन सीखने नौकरियों, इंटरैक्टिव क्वेरी और ग्राफ प्रसंस्करण को तेज करने पर लक्षित है।

स्पार्क के प्राथमिक भेद में से एक RDDs या लचीला वितरित डेटासेट के अपने प्रयोग है। आरडीडी गणना के लिए समांतर ऑपरेटरों को पाइपलाइनिंग के लिए बहुत अच्छे हैं और परिभाषा के अनुसार, अपरिवर्तनीय हैं, जो स्पार्क को वंश की जानकारी के आधार पर गलती सहनशीलता का एक अद्वितीय रूप प्रदान करता है। यदि आप रुचि रखते हैं, उदाहरण के लिए, एक हैडोप मैपरेडस नौकरी को बहुत तेज़ी से निष्पादित करना, स्पार्क एक अच्छा विकल्प है (हालांकि स्मृति आवश्यकताओं पर विचार किया जाना चाहिए)।

अपाचे तूफान स्ट्रीम प्रसंस्करण या कुछ कॉल जटिल घटना प्रसंस्करण पर केंद्रित है। तूफान एक घटना में कई गणनाओं को एक गणना या पाइपलाइनिंग करने के लिए एक गलती सहनशील विधि लागू करता है क्योंकि यह एक प्रणाली में बहती है। कोई भी अशक्त डेटा को बदलने के लिए तूफान का उपयोग कर सकता है क्योंकि यह एक सिस्टम में वांछित प्रारूप में बहता है।

तूफान और स्पार्क काफी अलग उपयोग मामलों पर केंद्रित हैं। अधिक "सेब-टू-सेब" तुलना Storm Trident और Spark Streaming के बीच होगी। चूंकि स्पार्क के आरडीडी स्वाभाविक रूप से अपरिवर्तनीय हैं, स्पार्क स्ट्रीमिंग उपयोगकर्ता द्वारा निर्धारित समय अंतराल में आने वाले अपडेटों को "बैचिंग" करने के लिए एक विधि लागू करती है जो अपने स्वयं के आरडीडी में परिवर्तित हो जाती है। स्पार्क के समांतर ऑपरेटर तब इन आरडीडी पर गणना कर सकते हैं। यह तूफान से अलग है जो प्रत्येक घटना के साथ व्यक्तिगत रूप से संबंधित है।

इन दो तकनीकों के बीच एक महत्वपूर्ण अंतर यह है कि स्पार्क Data-Parallel computations करता है जबकि तूफान Task-Parallel computations करता है। या तो डिजाइन ट्रेडऑफ बनाता है जो जानने योग्य हैं। मैं इन लिंक को देखने का सुझाव दूंगा।

संपादित करें: खोज की this आज