मैंने डायनेमोडीबी तालिका में आइटम लिखने के लिए एक प्रोग्राम लिखा है। अब मैं PySpark का उपयोग कर डायनेमो डीबी तालिका से सभी आइटम पढ़ना चाहता हूं। क्या स्पार्क में ऐसा करने के लिए कोई पुस्तकालय उपलब्ध है?पाइथन का उपयोग कर एक टेबल से सभी वस्तुओं को लोड करने के लिए स्पार्क प्रोग्राम से डायनामो डीबी कनेक्ट करना?
8
A
उत्तर
1
आप parallel scans उपलब्ध का उपयोग कर सकते boto3 के माध्यम से DynamoDB API का हिस्सा है और समानांतर S3 फ़ाइल संसाधन अनुप्रयोग PySpark के लिए लिखा की तरह एक योजना के रूप में वर्णित here। असल में, सभी कुंजी ए-प्रीडी पढ़ने की बजाय, केवल map_func
स्पार्क के लिए फ़ंक्शन में स्कैन के लिए सेगमेंट संख्याओं और हार्ड कोड की एक श्रृंखला बनाएं।
संबंधित मुद्दे
- 1. स्पार्क से डायनेमो डीबी
- 2. लैम्ब्डा का उपयोग करके डायनामो डीबी से लोचदार खोज से कैसे लिखें?
- 3. मोंगो डीबी को फ्रंट एंड से कनेक्ट करना?
- 4. मैं प्राथमिक कुंजी निर्दिष्ट किए बिना डायनामो डीबी तालिका से सभी आइटम कैसे प्राप्त कर सकता हूं?
- 5. ड्रैगन स्वाभाविक रूप से पाइथन से सभी इनपुट को रीडायरेक्ट करना? (नेटलिंक का उपयोग करना)
- 6. मूल्यों को संग्रहीत करने के लिए चर का उपयोग करना या वस्तुओं से मूल्य प्राप्त करना?
- 7. फोर्स इनो डीबी एक टेबल/टेबल पर विदेशी कुंजी को फिर से जांचने के लिए?
- 8. एक पाइथन प्रोग्राम को समाप्त करना
- 9. पाइथन प्रोग्राम को पाइथन प्रोग्राम
- 10. cx_Oracle और ओरेकल डीबी को दूरस्थ रूप से कनेक्ट करना
- 11. जावास्क्रिप्ट का उपयोग कर एसएसएच से कनेक्ट करना संभव है?
- 12. एक https से कनेक्ट करने के लिए HttpURLConnection और HttpsURL कनेक्शन का उपयोग करना?
- 13. बाह्य आईपी का उपयोग कर सर्वर से कनेक्ट करने के लिए getaddrinfo का उपयोग कैसे करें?
- 14. मैं डायनामो डीबीएपर क्वेरी() के पेजिनेटेड परिणाम से सभी आइटम कैसे पुनर्प्राप्त कर सकता हूं?
- 15. डीबी-टेबल
- 16. पाइथन का उपयोग कर लिनक्स से एमएस एसक्यूएल सर्वर से कनेक्ट करने के लिए सबसे अच्छी तकनीक क्या है? ODBC?
- 17. एसक्यूएल - एक और टेबल से गणना का उपयोग करना
- 18. कॉन्फ़िगरेशन प्रबंधक को सभी अनुभागों को फिर से लोड करने के लिए मजबूर करना
- 19. पाइथन का उपयोग करके एचबीएएस और स्पार्क को कैसे कनेक्ट करें?
- 20. प्रबंधित बीन्स का उपयोग कर जेएसएफ पेज के अंदर डीबी से एक छवि कैसे लोड करूं?
- 21. वितरण के लिए एक सी ++ प्रोग्राम से पाइथन को कॉल करना
- 22. बड़ी डीबी टेबल से निपटने के लिए रणनीति
- 23. रेल ऐप से कनेक्ट करना पोस्टग्रेस डीबी pgAdmin
- 24. डाटाबेस के लिए एक्सेस डीबी टेबल लोड हो रहा है
- 25. एसक्यूएल का उपयोग कर डीबी टेबल से अप्रयुक्त पंक्तियों को कैसे हटाएं?
- 26. सभी समूहों के लिए समान अर्थ संपत्ति प्राप्त करने के लिए वस्तुओं को समूहीकृत करना
- 27. रास्पबेरीपी के लिए पाइथन लिपि स्वचालित रूप से वाईफाई को कनेक्ट करने के लिए
- 28. 'हटाएं() `का उपयोग करते समय django को स्मृति में वस्तुओं को लोड करने से कैसे रोकें?
- 29. कैसे पर डीबी Firebird से कनेक्ट करने के एंड्रॉयड
- 30. स्पार्क खोल Mesos से कनेक्ट कर sched.cpp पर अटक
हम आप ऐसा करने में सक्षम हैं? – rabz100
नहीं, मैंने अभी तक स्पार्क के बिना बोटो दस्तावेज प्रदान किए हैं। –
मैं इस कोड को ट्विक करने का प्रयास करूंगा - https://github.com/bchew/dynamodump –