ड्रूइड वास्तविक समय और बैच प्रोसेसिंग दोनों के लिए उपयोग किया जाता है। लेकिन क्या यह पूरी तरह से हडूप को प्रतिस्थापित कर सकता है? यदि नहीं क्यों? ड्रूइड पर हडूप का क्या फायदा है? मैंने पढ़ा है कि ड्रूइड का उपयोग हडूप के साथ किया जाता है। तो क्या हडोप का उपयोग टाला जा सकता है?क्या ड्रूइड हडूप को प्रतिस्थापित कर सकता है?
हम के बारे में दो थोड़ा संबंधित लेकिन बहुत विभिन्न प्रौद्योगिकियों यहां बात कर रहे हैं।
ड्रुइड एक वास्तविक समय विश्लेषण प्रणाली है और टाइम्सरी और समय आधारित घटनाओं के एकत्रीकरण के लिए एकदम सही फिट है।
Hadoop HDFS (एक वितरित फ़ाइल प्रणाली) + मानचित्र (वितरित प्रक्रियाओं को क्रियान्वित करने के लिए एक प्रतिमान) में कमी, जो एक साथ वितरित प्रसंस्करण और अंतर्निहित/कई अन्य ओपन सोर्स प्रोजेक्ट के लिए प्रौद्योगिकी को प्रभावित करने के रूप में कार्य के लिए एक पर्यावरण सिस्टम बनाया गया है।
आप सेटअप ड्र्यूड Hadoop उपयोग करने के लिए कर सकते हैं; यह सूचकांक बैच डेटा में एमआर नौकरियों को आग लगाना है और एचडीएफएस से अपने अनुक्रमित डेटा को पढ़ने के लिए है (बेशक यह स्थानीय डिस्क पर स्थानीय रूप से उन्हें कैश करेगा)
यदि आप हैडोप को अनदेखा करना चाहते हैं, तो आप अपना इंडेक्सिंग और लोडिंग कर सकते हैं एक मशीन भी सीमित होने के दंड के साथ, एक स्थानीय मशीन भी।
आप ड्र्यूड साथ Hadoop का उपयोग कर से बचने कर सकते हैं? हां, आप हडोप के साथ बैच-लोडिंग के बजाय रीयल-टाइम में डेटा को ड्रूइड क्लस्टर में स्ट्रीम कर सकते हैं। ऐसा करने का एक तरीका है Kafka में डेटा स्ट्रीम करना, जो आने वाली घटनाओं को संभालेगा और उन्हें Storm में पास करेगा, जो तब प्रक्रिया और उन्हें ड्रुइड रीयलटाइम नोड्स में लोड कर सकता है।
आमतौर पर यह सेटअप समानांतर में हैडोप के साथ उपयोग किया जाता है, क्योंकि वास्तविक रीयल-टाइम डेटा अपने सामान के साथ आता है और अक्सर इसे ठीक करने और बैकफिल करने की आवश्यकता होती है। उस पूरे वास्तुकला को कुछ लोगों द्वारा "Lambda" कहा गया है।
मुझे लगता है कि आपका प्रश्न दोहराया जाना चाहिए (और आप उस निष्कर्ष को @ नायलॉन-मुस्कुराहट से लिख सकते हैं)। नीचे मेरा जवाब देखें। – user766353