थैंज में डीजेंगो ओआरएम का उपयोग करके और BoundedSemaphore

Question

का उपयोग करके "बहुत सारे क्लाइंट" अपवाद से परहेज करते हुए मैं manage.py कमांड पर काम करता हूं जो रिमोट होस्ट की जांच के लिए लगभग 200 धागे बनाता है। मेरा डेटाबेस सेटअप मुझे 120 कनेक्शन का उपयोग करने की अनुमति देता है, इसलिए मुझे किसी प्रकार के पूलिंग का उपयोग करने की आवश्यकता है। मैं अलग धागा का उपयोग कर की कोशिश की है, इस

class Pool(Thread): 
    def __init__(self): 
     Thread.__init__(self)   
     self.semaphore = threading.BoundedSemaphore(10) 

    def give(self, trackers): 
     self.semaphore.acquire() 
     data = ... some ORM (not lazy, query triggered here) ... 
     self.semaphore.release() 
     return data 

की तरह मैं हर चेक-धागा करने के लिए इस वस्तु का उदाहरण पारित लेकिन अभी भी "OperationalError: घातक: माफ करना, पहले से कई ग्राहकों" हो रही है पूल ऑब्जेक्ट के अंदर के बाद init-इंग 120 धागे मुझे उम्मीद है कि केवल 10 डेटाबेस कनेक्शन खोले जाएंगे और थ्रेड मुक्त सेमफोर स्लॉट के लिए इंतजार करेंगे। मैं "रिलीज()" पर टिप्पणी करके उस सेमफोर कार्यों को देख सकता हूं, उस मामले में केवल 10 धागे काम करेंगे और अन्य ऐप समाप्ति तक प्रतीक्षा करेंगे।

जितना मैं समझता हूं, हर धागा डेटाबेस के लिए नया कनेक्शन खोल रहा है भले ही वास्तविक कॉल अलग थ्रेड के अंदर है, लेकिन क्यों? क्या केवल एक धागे के अंदर सभी डेटाबेस प्रश्नों को करने का कोई तरीका है?

Answer 1

Django का ORM थ्रेड-स्थानीय चर में डेटाबेस कनेक्शन प्रबंधित करता है। इसलिए ओआरएम तक पहुंचने वाले प्रत्येक अलग थ्रेड का अपना कनेक्शन बन जाएगा। आप देख सकते हैं कि django/db/backends/__init__.py की पहली कुछ पंक्तियों में।

यदि आप डेटाबेस कनेक्शन की संख्या को सीमित करना चाहते हैं, तो आपको वास्तव में ओआरएम तक पहुंचने वाले विभिन्न थ्रेडों की संख्या सीमित करनी होगी। एक समाधान एक ऐसी सेवा को लागू करने के लिए हो सकता है जो समर्पित ओआरएम धागे के पूल में ओआरएम अनुरोधों को प्रस्तुत करता हो। अनुरोधों और उनके परिणामों को और अन्य धागे से प्रेषित करने के लिए आपको कुछ प्रकार के संदेश उत्तीर्ण तंत्र को लागू करना होगा। चूंकि यह एक ठेठ निर्माता/उपभोक्ता समस्या है, इसलिए थ्रेडिंग के बारे में पाइथन दस्तावेज़ों को कुछ संकेत देना चाहिए कि इसे कैसे प्राप्त किया जाए।

संपादित करें: मैंने अभी "django कनेक्शन पूलिंग" के लिए googled किया है। ऐसे कई लोग हैं जो शिकायत करते हैं कि Django उचित कनेक्शन पूल प्रदान नहीं करता है। उनमें से कुछ ने एक अलग पूलिंग पैकेज को एकीकृत करने में कामयाब रहे। PostgreSQL के लिए, मैं pgpool midware पर एक नज़र डालेगा।