2013-11-21 8 views
5

से दो तालिकाओं में शामिल होने के लिए तूफान का उपयोग करें मैं तूफान पर नौसिखिया हूं। बस सोच रहा हूं कि क्या मैं दो अलग-अलग डीबीएस (कोज़ के दो टेबलों में विलय/जुड़ने के लिए तूफान का उपयोग कर सकता हूं, दो टेबलों में विदेशी कुंजी संबंधों का कुछ प्रकार होता है, बस अलग-अलग डीबीएस/सिस्टम में मौजूद होता है), कोई विचार मैं कैसे बनाऊंगा टोपोलॉजी? दो अलग-अलग स्पैउट्स को समय-समय पर दो डीबीएस से पढ़ने और शामिल होने के लिए बोल्ट रखने की तरह?दो अलग-अलग डीबीएस

क्या यह तूफान के लिए भी उचित उपयोग केस है?

किसी भी विचार की सराहना की जाती है!

उत्तर

3

दो डीबीएस से समय-समय पर पढ़ने दो अलग spouts होने और काम में शामिल होने के लिए एक बोल्ट होने की तरह

हाँ, यह बहुत संभव है। तूफान में कई spouts हो सकते हैं। और A bolt consumes any number of input streams, does some processing, and possibly emits new streams. आमतौर पर कफका या खरगोश एमक्यू जैसी कतार से पढ़ने के लिए बेहतर होता है (आप क्विकिंग सिस्टम के अधिकांश के साथ स्पॉट एकीकरण पा सकते हैं)। तो उस स्थिति में आप डीबी से डेटा के साथ कतार खिला सकते हैं और फिर स्पॉट का उपभोग कर सकते हैं।

अद्यतन:
यहाँ एक बहुत ही अच्छा Article कैसे तूफान समानांतरवाद काम करता है

+0

धन्यवाद @ user2720864। दो प्रश्न: 1. बोल्ट बहुत दबाव में होगा, क्योंकि सभी उत्सर्जन एक बोल्ट पर जाते हैं क्योंकि यह एक जुड़ाव है, मुझे लगता है कि कई बोल्ट में शामिल होने के समानांतर करना मुश्किल है। 2. क्या वहां कोई मौजूदा दृष्टिकोण है जो संदेश कतार में डीबी डेटा को आग लगाता है, क्या यह पाइपलाइन में एक और परत जटिलता जोड़ देगा? – Shengjie

+1

जहां तक ​​मेरी समझ जाती है .. 1. एक बोल्ट हो सकता है लेकिन आप तूफान समांतरता का उपयोग करके इसके कई उदाहरण चला सकते हैं। 2. क्या आप एक मौजूदा प्रोजेक्ट की तलाश में हैं जो सैने करता है? – user2720864

+0

हां, यदि कोई मौजूदा प्रोजेक्ट है जो यह करता है :) अभी के लिए, मैं स्पॉट के अंदर मूल डीबीएस के खिलाफ एक आवधिक क्वेरी लिख रहा हूं, यह सुनिश्चित नहीं है कि यह सही तरीका है। – Shengjie

6

इस तूफान का अच्छा उपयोग हो सकता है के बारे में है, लेकिन यह वास्तव में आपके डेटासेट पर निर्भर करता है। यदि आपके पास अलग-अलग डीबीएमएस में दो टेबल हैं जो आप किसी तीसरे स्थान (डीबीएमएस या अन्यथा) में शामिल होना और स्टोर करना चाहते हैं, तो स्टॉर्म केवल स्ट्रीमिंग में शामिल होने पर ही समझ में आ जाएगा, यानी दो टेबल अक्सर लिखे जाते हैं और आप हाल ही में लिखे गए सामानों में शामिल होना चाहते हैं।

इसके अलावा, यह लगभग बिना कहने के चला जाता है कि आपको जटिलता को केवल नियोजित करना चाहिए यदि यह अपेक्षाकृत बड़ी और उच्च मात्रा के लिए है।

यदि यह छोटा है, तो संभवतः आप पारंपरिक ईटीएल उपकरण के साथ बेहतर सेवा करेंगे, भले ही यह केवल कुछ कोड है जो आप दो डेटाबेस तक पहुंचने और डेटा को गठबंधन करने के लिए चाबुक करते हैं।

यदि डेटा सेट बड़ा है और आपको थोड़े समय के फ्रेम से अधिक में शामिल होने की आवश्यकता है, तो मैं इसे एक और तरीका करने पर विचार करता हूं, जैसे नक्शा-कम करने वाली नौकरी का उपयोग करना जो दो डीबी से डेटा खींचता है और फैलता है एक क्लस्टर पर शामिल हों।

संबंधित मुद्दे