रेडशिफ्ट पोस्टग्रेस (8.0) के पुराने संस्करण पर आधारित है। तब से पोस्टग्रेस काफी बदल गए हैं और पोस्टग्रेस टूल्स इसके साथ बदल गए हैं। Redshift के साथ उपयोग करने के लिए किसी भी उपकरण को डाउनलोड करते समय आपको कई वर्षों पहले पिछले संस्करणों का उपयोग करने की आवश्यकता होगी।
तालिका सूची समस्या विशेष रूप से परेशान है, लेकिन मुझे अभी तक psql
का संस्करण नहीं मिला है जो ठीक से Redshift तालिकाओं को सूचीबद्ध कर सकता है। एक विकल्प के रूप में आप इस तरह की जानकारी खोजने के लिए INFORMATION_SCHEMA
टेबल का उपयोग कर सकते हैं, और मेरी राय में यह है कि एसएसआईएस/एसएसडीटी डिफ़ॉल्ट रूप से क्या करना चाहिए।
मैं उम्मीद नहीं करता कि एसएसआईएस विश्वसनीय रूप से रेडशिफ्ट में डेटा लोड करने में सक्षम हो, यानी एक रेडशिफ्ट गंतव्य बनाएं। ऐसा इसलिए है क्योंकि डेटा लोड करने के तरीके के रूप में Redshift वास्तव में समर्थन INSERT INTO
का समर्थन नहीं करता है। यदि आप INSERT INTO
का उपयोग करते हैं तो आप केवल प्रति सेकंड ~ 10 पंक्तियां लोड करने में सक्षम होंगे। Redshift COPY
कमांड का उपयोग कर केवल S3 या DynamoDB से डेटा लोड कर सकता है।
यह मैंने कोशिश की सभी अन्य ईटीएल उपकरणों के लिए एक समान कहानी है, विशेष रूप से ओपन सोर्स टूल्स पेंटाहो पीडीआई (उर्फ केटल) और टैलेंड ओपन स्टूडियो। यह Talend के मामले में विशेष रूप से परेशान है क्योंकि उनके पास Redshift घटक हैं लेकिन वे वास्तव में लोड करने के लिए INSERT INTO
का उपयोग करने का प्रयास करते हैं। यहां तक कि अमेज़ॅन के अपने ईटीएल उपकरण डेटा पाइपलाइन को अभी भी रेडशिफ्ट के लिए 'नोड' के रूप में समर्थन नहीं है।
स्रोत
2013-07-17 13:12:39