6
पर एक लकड़ी की छत फ़ाइल बनाना मुझे एस 3 पर सीएसवी/जेएसओएन फाइलों का एक सेट प्राप्त हो रहा है जिसे मैं पैराक्वेट में बदलना चाहता हूं। मैं उम्मीद करता था कि लैम्ब्डा फ़ंक्शन का उपयोग करके आसानी से इन फ़ाइलों को आसानी से लकड़ी में परिवर्तित करने में सक्षम हो।एडब्ल्यूएस लैम्ब्डा फ़ंक्शन
Google को देखने के बाद मुझे कुछ प्रकार के हडोप के बिना इसका समाधान नहीं मिला।
चूंकि यह एक फ़ाइल रूपांतरण है, इसलिए मुझे विश्वास नहीं है कि इसके लिए कोई आसान समाधान नहीं है। इस रूपांतरण के लिए किसी के पास कुछ जावा/स्कैला नमूना कोड है?
चूंकि लकड़ी का पाठ एक पाठ में नहीं है, मानव-पठनीय प्रारूप में, मैं समझ सकता हूं कि यह क्यों काम नहीं करता है। सैद्धांतिक रूप से, आप इसके लिए एडब्ल्यूएस ईएमआर और स्पार्क का उपयोग कर सकते हैं, लेकिन मेरे पास एक ही लक्ष्य है और मुझे स्कीमा के साथ समस्याएं आ रही हैं, क्योंकि सभी पंक्तियों/फ़ाइलों में सभी कॉलम सभी कॉलम में उपलब्ध नहीं हो सकते हैं और फिर स्पार्क उन्हें पढ़ सकता है विभिन्न प्रकार। और फिर पैराक्वेट को लिखना अलग-अलग स्कीमा में लिखता है और बाद में आप कई पैराक्वेट फाइलों में एक साथ नहीं पढ़ पाए क्योंकि उनके स्कीमा मेल नहीं खाते हैं। –
मैं इस तथ्य को समझ सकता हूं कि यह एक बाइनरी फ़ाइल प्रारूप है, लेकिन क्या इसे हडोप पर निर्भर रहने की आवश्यकता है? अंत में हमने अपनी आवश्यकताओं को बदल दिया और पार्केट की अब आवश्यकता नहीं है (असंबद्ध कारणों से)। उदाहरण के लिए हम कुछ स्टैंडअलोन स्पार्क ऐप के साथ चले गए थे (100 एमबी का जार, सामान्य 50 एमबी एडब्लूएस सीमा पारित)। – user1356713
ओह ठीक है। इसके बजाय आपने क्या उपयोग किया? –