16

Apache Apex - एक ओपन सोर्स एंटरप्राइज़ ग्रेड एकीकृत स्ट्रीम और बैच प्रसंस्करण प्लेटफार्म है। इसका उपयोग आईओटी के लिए जीई पेडिक्स मंच में किया जाता है। इन 2 प्लेटफार्मों के बीच महत्वपूर्ण अंतर क्या हैं?अपाचे स्पार्क और अपाचे एपेक्स के बीच अंतर क्या है?

प्रश्न

  1. एक डेटा विज्ञान के दृष्टिकोण से, यह कैसे स्पार्क से अलग है?
  2. क्या अपाचे एपेक्स स्पार्क एमएलआईबीबी जैसी कार्यक्षमता प्रदान करता है? अगर हमें अपाचे एपेक्स पर स्केलेबल एमएल मॉडल बनाना है तो इसे & किस भाषा का उपयोग करना है?
  3. डेटा वैज्ञानिकों को स्केलेबल एमएल मॉडल बनाने के लिए जावा सीखना होगा? क्या इसमें पाइस्पॉन एपीआई है जैसे कि पिसपार्क?
  4. अपाचे एपेक्स स्पार्क के साथ एकीकृत किया जा सकता है और क्या हम एमएल मॉडल बनाने के लिए एपेक्स के शीर्ष पर स्पार्क एमएलआईबी का उपयोग कर सकते हैं?
+2

बस सोच क्यों यह मिल गया के ख़िलाफ़ मतदान! – daemon12

+1

वही यहाँ। मैं इतने सारे नकारात्मक वोट देखने के लिए चौंक गया हूँ। क्या कोई स्पष्टीकरण दे सकता है? यह एक बहुत ही विशिष्ट प्रासंगिक प्रश्न है। –

+0

यहां बहुत विस्तृत तुलना http://www.slideshare.net/ApacheApex/architectual-comparison-of-apache-apex-and-spark- स्ट्रीमिंग – ashwin111

उत्तर

18
  1. अपाचे एपेक्स स्ट्रीमिंग डेटा प्रोसेसिंग के लिए एक इंजन। कुछ अन्य जो इसे प्राप्त करने का प्रयास करते हैं वे अपाचे तूफान, अपाचे झपकी हैं। अपाचे एपेक्स के लिए अलग-अलग कारक यह है: यह गलती सहनशीलता, मापनीयता और संचालन पर ध्यान केंद्रित करने के लिए अंतर्निहित समर्थन के साथ आता है जो उत्पादन के उपयोग में महत्वपूर्ण विचार हैं।

स्पार्क के साथ इसकी तुलना करना: अपाचे स्पार्क वास्तव में बैच प्रोसेसिंग है। यदि आप स्पार्क स्ट्रीमिंग (जो नीचे स्पार्क का उपयोग करता है) पर विचार करते हैं तो यह माइक्रो बैच प्रोसेसिंग है। इसके विपरीत, अपाचे एपेक्स एक वास्तविक स्ट्रीम प्रोसेसिंग है। एक अर्थ में, आने वाले रिकॉर्ड को प्रसंस्करण के लिए अगले रिकॉर्ड की प्रतीक्षा नहीं करनी पड़ेगी। रिकॉर्ड संसाधित हो जाता है और जैसे ही यह आता है, प्रसंस्करण के अगले स्तर पर भेजा जाता है।

  1. वर्तमान में, काम अपाचे समोआ, एच 2 ओ की तरह मशीन सीखने पुस्तकालयों के साथ अपाचे एपेक्स के एकीकरण https://issues.apache.org/jira/browse/SAMOA-49

  2. वर्तमान संदर्भ लें के लिए समर्थन जोड़ने के लिए कार्य प्रगति पर है, यह समर्थन हासिल है जावा, स्कैला के लिए।
    https://www.datatorrent.com/blog/blog-writing-apache-apex-application-in-scala/ पायथन के लिए, आप इसे ज्योथन का उपयोग करके आजमा सकते हैं। लेकिन, मैंने इसे स्वयं नहीं किया है। तो, इसके बारे में बहुत यकीन नहीं है।

  3. स्पार्क के साथ एकीकरण अच्छा विचार नहीं हो सकता है क्योंकि वे दो अलग-अलग प्रोसेसिंग इंजन हैं। लेकिन, मशीन सीखने पुस्तकालयों के साथ अपाचे शीर्ष एकीकरण प्रगति पर है।

आप किसी भी अन्य प्रश्न हैं, सुविधाओं के लिए अनुरोध आप उन्हें मेलिंग सूची पर अपाचे सुप्रीम उपयोगकर्ताओं के लिए पोस्ट कर सकते हैं: https://mail-archives.apache.org/mod_mbox/incubator-apex-users/

+0

धन्यवाद! क्या आप माइक्रो-बैच प्रोसेसिंग पर अपनी स्टेटमेंट समझा सकते हैं? आप "माइक्रो-बैच" में कहने का मतलब है, आने वाले रिकॉर्ड को अगले रिकॉर्ड आने के बाद ही संसाधित किया जाएगा, जैसे कि एपेक्स में रिकॉर्ड किसी भी प्रसंस्करण के लिए इंतजार नहीं करना पड़ेगा? –

+0

आज भी एपेक्स पर स्केलेबल एमएल चलाना एक विकल्प सही नहीं है? एपेक्स स्पार्क की तरह स्काला में लिखा गया है? –

+2

अपने प्रश्नों के उत्तर देने के लिए, 1) हां, एपेक्स रिकॉर्ड के रूप में रिकॉर्ड करता है, आपको प्रतीक्षा करने की ज़रूरत नहीं है। जबकि स्पार्क उन्हें प्रसंस्करण से पहले पहुंचने के लिए रिकॉर्ड्स के एक हिस्से के लिए इंतजार कर रहा है। 2) वर्तमान में एपेक्स में कोई एमएल कार्यान्वयन नहीं है 3) स्काला – daemon12

संबंधित मुद्दे