एचआईवी बनाम एसक्यूएल सर्वर प्रदर्शन

Question

1) मैंने पिछले 2 महीनों से छिद्र का उपयोग शुरू किया। मेरे पास एसक्यूएल में एक ही काम है। मैंने पाया कि हाइव धीमा है और क्वेरी निष्पादित करने में अधिक समय लगता है जबकि SQL इसे बहुत कम मिनट/सेकंड में निष्पादित करता है।

जब मैं दोनों (एसक्यूएल और हाइव) में परिणाम को पार करने के दौरान हाइव में कार्य निष्पादित करने के बाद, मुझे परिणामों में कुछ अंतर मिला (कुछ भी नहीं लेकिन कुछ तालिकाओं में)। उदा। : मेरे पास एक टेबल है जिसमें 2012 के रिकॉर्ड हैं, जब मैंने हाइव में एक ही टेबल में हाइव में एक कार्य निष्पादित किया, तो मुझे 2007 के रिकॉर्ड मिला।

ऐसा क्यों हो रहा है?

2) अगर मुझे लगता है कि हाइव में मेरा निष्पादन तेज करना है तो मुझे इसके लिए क्या करना चाहिए? (वर्तमान में मैं केवल एक क्लस्टर पर यह सब सामान को क्रियान्वित कर रहा हूँ। अगर मैं समूहों को बढ़ाने के लिए तो कितने क्लस्टर मैं इसे जरूरत के प्रदर्शन को बढ़ाने के लिए करना चाहिए लगता है)

कृपया मुझे कुछ समाधान या तो यह है कि कुछ अच्छे आचरण सुझाते मैं यह उत्सुकता से कर सकते हैं।

धन्यवाद।

Answer 1

• हाइव और एसक्यूएल सर्वर क्वेरी भाषा के वाक्यविन्यास में समानता के अलावा किसी अन्य तरीके से तुलनीय नहीं हैं।
• जबकि SQL सर्वर एक मशीन से रीयलटाइम में प्रतिक्रिया करने में सक्षम होने के लिए बनाया गया है, हाइव बड़े डेटा सेट को प्रोसेस करने के लिए है जो सैकड़ों या हजारों मशीनों तक फैल सकता है।
• हाइव (हडूप के माध्यम से) नौकरी शुरू करने के लिए बहुत अधिक ओवरहेड है।
• हाइव और हडूप एसक्यूएल सर्वर की तरह स्मृति में डेटा कैश नहीं करेगा।
• हाइव ने हाल ही में हाल ही में इंडेक्स जोड़े हैं, इसलिए अधिकांश प्रश्न तालिका स्कैन होने के बाद समाप्त होते हैं।
• यदि आपका डेटासेट एक कंप्यूटर पर फिट बैठता है तो शायद आप SQL सर्वर के साथ चिपकना चाहते हैं और हाइव नहीं करना चाहते हैं। हाइव प्रदर्शन ट्यूनिंग ज्यादातर हडोप प्रदर्शन ट्यूनिंग में आधारित है हालांकि आपके द्वारा चलाए जाने वाले प्रश्नों के प्रकार के आधार पर LazyBinarySerDe का उपयोग करने से निःशुल्क प्रदर्शन हो सकता है।

हाइव में नियमित SQL से कुछ अंतर होते हैं जो आपकी क्वेरी को प्रभावित कर सकते हैं। अधिक जानकारी के बिना मैं अनुमान लगा सकता हूं कि क्यों।