2013-10-28 3 views
7

मैं सिर्फ Hadoop जानने के लिए शुरू कर दिया और कुछ साइटों के माध्यम से चले गए हैं और मैं अक्सर पाया गया किक्यों Hadoop एक वास्तविक समय मंच

अतः भी

में भी "Hadoop एक वास्तविक समय मंच नहीं है" नहीं है

मैं इसके साथ गड़बड़ करता हूं और मैं वास्तव में इसके बारे में समझ नहीं सकता। क्या कोई मेरी मदद कर सकता है और मुझे इसके बारे में समझा सकता है?

धन्यवाद सभी

उत्तर

20

हाडोप को शुरुआत में बैच प्रोसेसिंग के लिए डिज़ाइन किया गया था। इसका मतलब है, इनपुट में एक बड़े डेटासेट को एक साथ ले जाएं, इसे संसाधित करें, और एक बड़ा आउटपुट लिखें। MapReduce की अवधारणा बैच की ओर तैयार है और वास्तविक समय नहीं है। लेकिन ईमानदार होने के लिए, यह हाडोप की शुरुआत में ही मामला था, और अब आपके पास हडोप का अधिक वास्तविक समय में उपयोग करने के कई अवसर हैं।

सबसे पहले मुझे लगता है कि आप वास्तविक समय से क्या मतलब है परिभाषित करने के लिए महत्वपूर्ण है। यह हो सकता है कि आप स्ट्रीम प्रोसेसिंग में रूचि रखते हों, या यह भी हो सकता है कि आप अपने डेटा पर प्रश्नों को चलाने के लिए चाहते हैं जो वास्तविक समय में परिणाम लौटाते हैं।

Hadoop पर स्ट्रीम प्रसंस्करण के लिए, मूल रूप से Hadoop आप क्षमताओं के इस प्रकार के साथ उपलब्ध नहीं कराएगा, लेकिन आप आसानी Hadoop के साथ कुछ अन्य परियोजनाओं को एकीकृत कर सकते हैं:

  • Storm-YARN आप अपने Hadoop क्लस्टर पर तूफान का उपयोग करने की अनुमति देता है यार्न के माध्यम से।
  • Spark आप वास्तविक समय में स्ट्रीमिंग डेटा की प्रक्रिया करने के लिए अनुमति देने के लिए HDFS साथ एकीकृत करता है।

वास्तविक समय के लिए प्रश्नों वहाँ भी कर रहे हैं कई परियोजनाओं जो Hadoop का उपयोग करें:

  • Impala क्लाउडेरा से HDFS का उपयोग करता है लेकिन कुल मिलाकर MapReduce नजरअंदाज क्योंकि बहुत अधिक भूमि के ऊपर अन्यथा।
  • Apache Drill एक अन्य परियोजना है कि Hadoop के साथ एकीकृत वास्तविक समय क्वेरी क्षमताओं प्रदान करना है।
  • Stinger प्रोजेक्ट का लक्ष्य खुद को अधिक वास्तविक समय बनाना है।

शायद अन्य परियोजनाओं है कि "Hadoop वास्तविक समय बनाना" की सूची में फिट होगा रहे हैं, लेकिन इन सबसे प्रसिद्ध होते हैं।

तो जैसा कि आप देख सकते हैं, हडोप वास्तविक समय की दिशा में अधिक से अधिक जा रहा है और यहां तक ​​कि यदि इसे इसके लिए डिज़ाइन नहीं किया गया है, तो आपके पास वास्तविक समय के उद्देश्यों के लिए इसे विस्तारित करने के कई अवसर हैं।

+0

+1 यह कुछ समझ में आता है – Backtrack

संबंधित मुद्दे