मैं अपने मस्तिष्क को हडोप के चारों ओर लपेटने की कोशिश कर रहा हूं और this excellent tutorial पढ़ता हूं और official Hadoop docs पर ध्यान केंद्रित करता हूं। हालांकि, इस साहित्य से कोई भी में कर सकते हैं मैं कुछ सुंदर अल्पविकसित के लिए एक सरल व्याख्या पढ़ सकते हैं: "नमस्ते विश्व"एचडीएफएस पर संग्रहीत इनपुट डेटा कैसे प्राप्त करता है?
सब काल्पनिक में (शब्द गणना) परिचयात्मक एमआर उदाहरण, इनपुट डेटा में सीधे संग्रहीत किया जाता है पाठ फाइलें हालांकि, मेरे लिए, यह लगता है ऐसा लगता है कि यह शायद ही कभी असली दुनिया में मामला हो। मैं कल्पना कर सकते हैं कि वास्तविकता में, इनपुट डेटा बड़े डेटा स्टोर में मौजूद होगा, एक संबंधपरक DB, मोंगो, कैसेंड्रा की तरह, या बाकी एपीआई के माध्यम से ही उपलब्ध है, आदि
तो मैं पूछना: असली दुनिया में , हैडोप को अपना इनपुट डेटा कैसे मिलता है? मुझे लगता है कि Sqoop और Flume जैसी परियोजनाएं हैं और मुझे आश्चर्य है कि इन ढांचे का पूरा बिंदु एमआर नौकरियों को चलाने के लिए केवल एचडीएफएस पर ईटीएल इनपुट डेटा है।
अच्छा सवाल है, लेकिन "वास्तविक दुनिया" में भी कई मामले हैं (जो भी यह अवास्तविक दुनिया के लिए संकेत दे सकता है), जिसमें हैडऑप एचडीएफएस पर फाइलों से डेटा प्राप्त करता है। आपको अपनी जरूरतों के लिए उपयोगी हाइव मिल सकता है ... – vefthym
धन्यवाद @vefthym (+1) - तो मुझे लगता है कि मेरे प्रश्न की जड़ यह है: * डेटा एचडीएफएस पर पहली जगह कैसे मिलता है? * कम से कम वहां एचडीएफएस पर विभिन्न विषम प्रणालियों (फिर मोंगो, कैसंद्रा, आरईएसटी एपीआई इत्यादि जैसे) से * कुछ * प्रकार का अपफ्रंट ईटीएल होना चाहिए। लेकिन मुझे लगता है कि ये ईटीएल प्रक्रिया इतनी धीमी और श्रम गहन होगी, कि हैडोप (या कुछ साथी ढांचा) सीधे इन सिस्टमों से सीधे डेटा लोड करने में सक्षम होंगे, या तो एचडीएफएस को पूरी तरह से बाईपास कर सकते हैं, या उन्हें एचडीएफएस जेआईटी पर लोड कर सकते हैं। – smeeb
शायद आप [FileInputFormat] (https://hadoop.apache.org/docs/current/api/org/apache/hadoop/mapred/FileInputFormat.html) के अलावा वैकल्पिक इनपुट प्रारूपों की खोज में रुचि ले सकते हैं, उदाहरण के लिए [DBInputFormat ] (https://hadoop.apache.org/docs/current/api/org/apache/hadoop/mapred/lib/db/DBInputFormat.html), जो आपको किसी डेटाबेस में संग्रहीत गैर HDFS डेटा तक पहुंचने की अनुमति देता है। – frb