6

मैं डायनामो डीबी के दैनिक बैकअप के लिए डेटा पाइपलाइन (डीपी) का उपयोग कर रहा हूं, हालांकि, मैं डीपी रन (डीपी रन के बीच अपडेट) से चूकने वाले डेटा के बढ़ते बैकअप करना चाहता हूं। इसे पूरा करने के लिए, मैं S3 को रीयल-टाइम DynamoDB अपडेट लाने के लिए डायनेमोडीबी स्ट्रीम + लैम्ब्डा + एस 3 का उपयोग करना चाहता हूं। मैं समझता हूं कि डायनेमोडीबी धाराएं कैसे काम करती हैं, हालांकि, मैं एक लैम्ब्डा फ़ंक्शन बनाने के साथ संघर्ष कर रहा हूं जो एस 3 को लिखता है और कहता है कि हर घंटे एक फाइल रोल करता है।डायनेमो डीबी स्ट्रीम एस 3

क्या किसी ने इसे आजमाया है?

+1

"हर घंटे एक फ़ाइल रोल" से आपका क्या मतलब है? आप एस 3 में फाइलों में शामिल नहीं हो सकते हैं। आपको प्रत्येक अपडेट के लिए नई फाइलें बनाना पड़ेगा जबतक कि आप हर बार पूरी फाइल को पढ़ना नहीं चाहते हैं, इसमें डेटा जोड़ें और फिर इसे फिर से S3 पर लिखें। जो दर्दनाक लगता है। – garnaat

+0

लॉग 4j या अन्य ढांचे में फ़ाइल को रोल करना जहां फ़ाइलों को एक निश्चित मानदंड के आधार पर रोल किया जा सकता है। मुझे पता है कि एस 3 में फाइल अपरिवर्तनीय हैं, इसलिए मैं सोच रहा था कि यह भी संभव है या नहीं। – user3293898

उत्तर

7

इसके एक घंटे के काम दोस्त, तुम क्या करने की ज़रूरत है

  1. डायनमो डीबी अद्यतन स्ट्रीम सक्षम और संलग्न एडब्ल्यूएस लैम्ब्डा समारोह प्रदान की https://github.com/awslabs/lambda-streams-to-firehose
  2. Firehose धारा सक्षम और समारोह के ऊपर का उपयोग में बहिष्कार रिकॉर्ड स्ट्रीम करने के लिए आग बुझाने का नल।
  3. रिकॉर्ड को एस 3 पर डंप करने के लिए फ़ायरहोज कॉन्फ़िगर करें।

किया गया।

+0

यदि आपके पास फ़ायरहोज उपलब्ध नहीं है तो क्या होगा? –

संबंधित मुद्दे