2016-04-14 11 views
9

Apache ApexApache Storm जैसा दिखता है।अपाचे तूफान अपाचे तूफान से कैसे अलग है?

  • उपयोगकर्ता दोनों प्लेटफार्मों पर निर्देशित एसाइक्लिक ग्राफ (डीएजी) के रूप में एप्लिकेशन/टोपोलॉजी का निर्माण करते हैं। एपेक्स ऑपरेटरों/धाराओं का उपयोग करता है और तूफान spouts/streams/बोल्ट का उपयोग करता है।
  • वे दोनों बैच प्रोसेसिंग के विपरीत वास्तविक समय में डेटा संसाधित करते हैं।
  • दोनों उच्च throughput & कम विलंबता

तो, एक नज़र में, दोनों समान दिखाई है लगता है और मैं काफी अंतर नहीं मिल रहा है। क्या कोई बता सकता है कि महत्वपूर्ण मतभेद क्या हैं? दूसरे शब्दों में, मुझे दूसरे के बजाय एक का उपयोग कब करना चाहिए?

+0

अपाचे फ्लिंक और अपाचे बीम, सभी डीएजी प्रोसेसर – user3613754

+0

जोड़ें कृपया भी उपयोग-मामलों को जोड़ें, मैं पसंद करता हूं कि किस प्रकार का उपयोग केस प्रत्येक के लिए उपयुक्त है। – ChikuMiku

उत्तर

4

आर्किटेक्चर में मौलिक मतभेद हैं जो प्रत्येक मंच को विलंबता, स्केलिंग और राज्य प्रबंधन के मामले में बहुत अलग बनाते हैं।

बहुत बुनियादी स्तर पर,

  1. अपाचे तूफान संदेश वितरण की गारंटी करने के रिकॉर्ड पावती उपयोग करता है।
  2. अपाचे एपेक्स संदेश वितरण की गारंटी के लिए चेकपॉइंटिंग का उपयोग करता है।

आप निम्न ब्लॉग में और अधिक अंतर सीख सकते हैं जिसमें अन्य मुख्य स्ट्रीम प्रोसेसिंग प्लेटफॉर्म भी शामिल हैं।

https://databaseline.wordpress.com/2016/03/12/an-overview-of-apache-streaming-technologies/

2

वास्तुकला और सुविधाएँ

+-------------------+---------------------------+---------------------+ 
|     |   Storm   |   Apex  | 
+-------------------+---------------------------+---------------------+ 
| Model    | Native Streaming   | Native Streaming | 
|     | Micro batch (Trident  |      | 
+-------------------+---------------------------+---------------------+ 
| Language   | Java.      | Java (Scala)  | 
|     | Ability to use non  |      | 
|     | JVM languages support  |      | 
+-------------------+---------------------------+---------------------+ 
| API    | Compositional    | Compositional (DAG) | 
|     | Declarative (Trident)  | Declarative   | 
|     | Limited SQL    |      | 
|     | support (Trident)   |      | 
+-------------------+---------------------------+---------------------+ 
| Locality   | Data Locality    | Advance Processing | 
+-------------------+---------------------------+---------------------+ 
| Latency   | Low      | Very Low   | 
|     | High (Trident)   |      | 
+-------------------+---------------------------+---------------------+ 
| Throughput  | Limited in Ack mode  | Very high   | 
+-------------------+---------------------------+---------------------+ 
| Scalibility  | Limited due to Ack  | Horizontal   | 
+-------------------+---------------------------+---------------------+ 
| Partitioning  | Standard     | Advance    | 
|     | Set parallelism at work, | Parallel pipes,  | 
|     | executor and task level | unifiers   | 
+-------------------+---------------------------+---------------------+ 
| Connector Library | Limited (certification) | Rich library of  | 
|     |       | connectors in  | 
|     |       | Apex Malhar   | 
+-------------------+---------------------------+---------------------+ 

Operability

+------------+--------------------------+---------------------+ 
|   |   Storm   |   Apex  | 
+------------+--------------------------+---------------------+ 
| State  | External store   | Checkpointing  | 
| Management | Limited checkpointing | Local checkpointing | 
|   | Difficult to exploit  |      | 
|   | local state    |      | 
+------------+--------------------------+---------------------+ 
| Recovery | Cumbersome API to  | Incremental   | 
|   | store and retrieve state | (buffer server)  | 
|   | Require user code  |      | 
+------------+--------------------------+---------------------+ 
| Processing | At least once   |      | 
| Semantic | Exactly once require  | At least once  | 
|   | user code and affect  | End to end   | 
|   | latency     |      | 
|   |       | exactly once  | 
+------------+--------------------------+---------------------+ 
| Back  | Watermark on queue  | Automatic   | 
| Pressure | size for spout and bolt | Buffer server  | 
|   | Does not scale   | memory and disk  | 
+------------+--------------------------+---------------------+ 
| Elasticity | Through CLI only   | Yes w/ full user | 
|   |       | control    | 
+------------+--------------------------+---------------------+ 
| Dynamic | No      | Yes     | 
| topology |       |      | 
+------------+--------------------------+---------------------+ 
| Security | Kerberos     | Kerberos, RBAC,  | 
|   |       | LDAP    | 
+------------+--------------------------+---------------------+ 
| Multi  | Mesos, RAS - memory,  | YARN    | 
| Tenancy | CPU, YARN    | full isolation  | 
+------------+--------------------------+---------------------+ 
| DevOps  | REST API     | REST API   | 
| Tools  | Basic UI     | DataTorrent RTS  | 
+------------+--------------------------+---------------------+ 

स्रोत: वेबिनार: अपाचे एपेक्स (अगला जनरल Hadoop) तूफान बनाम - तुलना और प्रवासन रूपरेखा https://www.youtube.com/watch?v=sPjyo2HfD_I

संबंधित मुद्दे