2013-02-03 14 views
6

में विशिष्ट डेटा प्रकारों के लिए सर्वोत्तम प्रथाएं मैं एवरो: टाइमस्टैम्प और आईपी पते के भीतर दो बहुत विशिष्ट प्रकार के डेटा एन्कोडिंग के लिए सर्वोत्तम प्रथाओं को समझने के लिए उत्सुक हूं।एवरो

मैं टाइमस्टैम्प (https://issues.apache.org/jira/browse/AVRO-739) के लिए खुले जेआईआरए टिकट में आया, लेकिन ऐसा लगता है कि विषय कुछ समय के लिए शांत रहा है। तो - एवरो में टाइमस्टैम्प एन्कोडिंग के लिए सर्वोत्तम प्रथाएं क्या हैं (अधिमानतः मैपरेडस, पिग, हाइव, स्ट्रीमिंग संदर्भ में डाउनस्ट्रीम उपयोग के लिए)।

इसके अलावा, मुझे यह जानने में दिलचस्पी होगी कि अन्य लोग एवरो में आईपी पते को एन्कोड करने के लिए क्या कर रहे हैं।

उत्तर

1

मुझे एवरो में प्रकार के एन्कोडिंग के साथ कुछ अनुभव है। मेरे मामले में एक बड़ी आवश्यकता हाइव के माध्यम से डेटा तक पहुंच रही है।

  • टाइमस्टैम्प के लिए मैं यूनिक्स टाइमस्टैम्प के साथ एक फ्लोट का उपयोग करने की सलाह दूंगा। यह अधिकांश अन्य पुस्तकालयों द्वारा समर्थित है और हाइव के साथ आसान काम करता है क्योंकि आप टाइमस्टैम्प पर जा सकते हैं।

  • आईपी पते के लिए मैं एक स्ट्रिंग एन्कोडिंग का उपयोग करूंगा। मुझे लगता है कि डेटा का उपयोग करते समय तारों की पठनीयता इसे जाने के लिए सबसे अच्छा प्रकार बनाती है। यदि आपके पास अन्य आवश्यकताएं हैं, जैसे डेटा आकार को ध्यान में रखते हुए, शायद आपके लिए बाइनरी एन्कोडिंग बेहतर हो सकती है।