क्या पाइथन सूची, सेट या डिक्शनरी को डेटाबेस का उपयोग करके अदृश्य रूप से कार्यान्वित किया जा सकता है?

Question

सूचियों के लिए पायथन मूल क्षमताओं, & शब्दकोश पूरी तरह से रॉक सेट करता है। क्या डेटा वास्तव में बड़ा होने पर देशी क्षमता का उपयोग जारी रखने का कोई तरीका है? समस्या जो मैं बहुत बड़ी सूचियों के मिलान (चौराहे) पर काम कर रहा हूं। मैंने अभी तक सीमाओं को धक्का नहीं दिया है - वास्तव में मुझे वास्तव में पता नहीं है कि सीमाएं क्या हैं - और डेटा के अपेक्षित होने के बाद बड़े पुनर्मूल्यांकन से आश्चर्यचकित नहीं होना चाहिए।

यह गूगल एप इंजन की तरह कुछ है कि कोई व्यावहारिक पैमाने सीमा का विज्ञापन करता है पर तैनाती और देशी क्षमता का उपयोग कर इस बारे में वास्तव में लगता है कि हमेशा के लिए और नहीं के रूप में है जारी रखने के लिए उचित है?

क्या कोई पाइथन जादू है जो छिप सकता है कि सूची, सेट या डिक्शनरी एक डीबी में पायथन-प्रबंधित मेमोरी बनाम है या नहीं - इसलिए डेटा में भौतिक तैनाती को कोड में जो कुछ भी किया जाता है उससे अलग रखा जा सकता है?

आप कैसे, श्रीमान या सुश्री पायथन सुपर एक्सपर्ट, सूचियों के साथ सौदा करते हैं, डेटा वॉल्यूम बढ़ने के साथ & डिस्क्स सेट करते हैं?

Answer 1

मुझे यकीन नहीं है कि सूचियों के लिए मूल क्षमताओं का क्या मतलब है, & शब्दकोश सेट करता है। हालांकि, आप कुछ methods with special names को परिभाषित करके container types और sequence types अनुकरण करने वाले वर्ग बना सकते हैं। इसका मतलब है कि आप एक वर्ग बना सकते हैं जो एक सूची की तरह व्यवहार करता है, लेकिन एसक्यूएल डेटाबेस या जीएई डेटास्टोर में अपना डेटा स्टोर करता है। बस बोलते हुए, यह एक ओआरएम करता है। हालांकि, किसी डेटाबेस में ऑब्जेक्ट्स मैप करना बहुत जटिल है और संभवतः अपने स्वयं के ओआरएम का आविष्कार करना अच्छा नहीं है, लेकिन मौजूदा का उपयोग करना है।

मुझे डर लग रहा वहाँ कोई एक आकार फिट सभी समाधान है। विशेष रूप से जीएई किसी प्रकार का जादू परी धूल नहीं है जिसे आप स्केल करने के लिए अपने कोड पर छिड़का सकते हैं। स्केल करने वाले एप्लिकेशन को बनाने के लिए आपको कई सीमाएं ध्यान में रखना है। उनमें से कुछ सामान्य हैं, जैसे computational complexity, अन्य आपके कोड में चलने वाले पर्यावरण के लिए विशिष्ट हैं। उदा।GAE पर अधिकतम प्रतिक्रिया समय 30 सेकंड तक सीमित है और डेटास्टोर से पूछताछ करता है कि अन्य डेटाबेस पर अलग-अलग काम करता है।

आपकी विशिष्ट समस्या को जानने के बिना कोई ठोस सलाह देना मुश्किल है, लेकिन मुझे संदेह है कि जीएई सही समाधान है।

सामान्य रूप से, यदि आप बड़े डेटासेट के साथ काम करना चाहते हैं, तो आपको या तो इसे शुरुआत से ही ध्यान में रखना होगा या डेटासेट के रूप में आपको अपने कोड, एल्गोरिदम और डेटा संरचनाओं को फिर से काम करना होगा।

Answer 2

आप ORM उपयोग कर सकते हैं: वस्तु संबंधपरक मानचित्रण: एक वर्ग एक मेज हो जाता है, एक वस्तुओं एक पंक्ति हो जाता है। मुझे Django ORM पसंद है। आप इसे गैर-वेब ऐप्स के लिए भी उपयोग कर सकते हैं। मैंने इसे कभी भी जीएई पर इस्तेमाल नहीं किया, लेकिन मुझे लगता है कि यह संभव है।

Answer 3

आप मेरे सपनों का वर्णन कर रहे हैं! हालांकि, मुझे लगता है कि आप इसे नहीं कर सकते हैं। मैं हमेशा पाइथन के लिए LINQ की तरह कुछ चाहता था लेकिन भाषा देशी डेटाबेस संचालन AFAIK के लिए पायथन वाक्यविन्यास का उपयोग करने की अनुमति नहीं देती है। यदि यह संभव होगा, तो आप सूचियों का उपयोग करके कोड लिख सकते हैं और फिर डेटाबेस से डेटा पुनर्प्राप्त करने के लिए उसी कोड का उपयोग कर सकते हैं।

मैं तुम्हें सलाह नहीं केवल सूचियों और सेटों में आधारित कोड का एक बहुत कुछ लिखने के लिए है क्योंकि यह यह एक स्केलेबल मंच के लिए स्थानांतरित करने के लिए आसान नहीं होगा। मैं आपको एक ओआरएम की तरह कुछ उपयोग करने की सलाह देता हूं। जीएई में भी its own ORM-like system है और आप SQLAlchemy और SQLObject जैसे अन्य लोगों का उपयोग कर सकते हैं उदा। SQLite।

दुर्भाग्य से, आप इस तरह के रूप में सूची comprehensions शानदार काम उपयोग नहीं कर सकते डेटाबेस से डेटा फिल्टर करने के लिए। निश्चित रूप से, आप डेटा को डीबी से प्राप्त करने के बाद फ़िल्टर कर सकते हैं लेकिन आपको अभी भी ऑब्जेक्ट पूछताछ के लिए कुछ SQL-like भाषा के साथ एक क्वेरी बनाने या डेटाबेस से बहुत सारी ऑब्जेक्ट्स लौटने की आवश्यकता होगी।

ओटीओएच, Buzhug है, जो पाइथन में लिखी एक उत्सुक गैर-रिलेशनल डेटाबेस सिस्टम है जो प्राकृतिक पायथन वाक्यविन्यास के उपयोग की अनुमति देता है। मैंने कभी इसका इस्तेमाल नहीं किया है और मुझे नहीं पता कि यह स्केलेबल है इसलिए मैं अपना पैसा इस पर नहीं डालूंगा। हालांकि, आप इसका परीक्षण कर सकते हैं और देख सकते हैं कि यह आपकी मदद कर सकता है या नहीं।