2014-10-28 8 views
5

वर्तमान में मेरी टीम एक समाधान बना रही है जो HDInsight का उपयोग करेगी। हमें प्रतिदिन 5TB डेटा मिल जाएगा और इस डेटा पर कुछ मानचित्र/नौकरियों को कम करने की आवश्यकता होगी। अगर हमारे डेटा को Azure HBase के बजाय Azure Table Storage में संग्रहीत किया जाएगा तो क्या कोई प्रदर्शन/लागत अंतर होगा?एचडीआईएससाइट: एचबीएएस या एज़ूर टेबल स्टोरेज?

उत्तर

7

मुख्य अंतर कार्यक्षमता और लागत दोनों में होंगे।

एज़ूर टेबल स्टोरेज में नक्शा कम से कम इंजन से जुड़ा हुआ इंजन नहीं है, बेशक आप नक्शा का उपयोग अपने स्वयं के लिखने के दृष्टिकोण को कम कर सकते हैं।

आप टेबल स्टोरेज में मानचित्र को कम करने के लिए Azure HDInsight का उपयोग कर सकते हैं। मेरे आस-पास के कुछ कनेक्टर हैं, जिनमें से एक लिखा गया है जिसमें हाइव केंद्रित है और कुछ कॉन्फ़िगरेशन की आवश्यकता है, और आपकी विभाजन योजना (http://www.simonellistonball.com/technology/hadoop-hive-inputformat-azure-tables/) और कम प्रदर्शन केंद्रित नहीं हो सकता है, लेकिन माइक्रोसॉफ्ट (http://blogs.msdn.com/b/mostlytrue/archive/2014/04/04/analyzing-azure-table-storage-data-with-hdinsight.aspx) में किसी से अधिक पूर्ण संस्करण।

टेबल स्टोरेज का मुख्य लाभ यह है कि आप लगातार प्रोसेसिंग लागत नहीं ले रहे हैं।

यदि आप एचबीएस का उपयोग करते हैं, तो आपको हर समय एक पूर्ण क्लस्टर चलाने की आवश्यकता होगी, इसलिए लागत का नुकसान होता है, हालांकि, आपको कुछ कार्यक्षमता और प्रदर्शन लाभ मिलेगा, साथ ही आपके पास कुछ और पोर्टेबल होगा, आप अन्य हडूप प्लेटफॉर्म का उपयोग करना चाहते हैं। आपको एचबीएएस विकल्प के साथ विश्लेषणात्मक कार्यक्षमता की एक बड़ी श्रृंखला तक पहुंच होगी।

2

एचडीआईन्सइट (एचबीएएस/हैडोप) एज़ूर ब्लॉब स्टोरेज का उपयोग एटीएस नहीं करता है। आपके डेटा-स्टोरेज के लिए आप अपनी सदस्यता के आधार पर केवल लागू ब्लॉब स्टोरेज लागत का शुल्क लेंगे।

पीएस चार्ज से बचने के लिए, नौकरी पूरी होने के बाद अपने क्लस्टर को मिटाना न भूलें। आपका डेटा बीएलओबी स्टोरेज में जारी रहेगा और आपके द्वारा बनाए गए अगले क्लस्टर द्वारा उपयोग किया जा सकता है।

+3

ब्लॉब स्टोरेज मुख्य स्टोरेज तंत्र है, लेकिन स्टोरेज हैंडलर लिखना निश्चित रूप से संभव है ताकि HDInsight क्लस्टर टेबल संग्रहण डेटा को संसाधित कर सकें। –

संबंधित मुद्दे