मेरे ऐप में ndb

Question

के साथ इकाइयों के बैच को प्राप्त करने, संशोधित करने और रखने का सबसे प्रभावी तरीका मेरे पास कुछ बैच ऑपरेशंस हैं जो मैं करता हूं। दुर्भाग्य से यह कभी-कभी 400-500 इकाइयों को अपडेट करने के लिए हमेशा के लिए लेता है। मेरे पास सभी इकाई कुंजी हैं, मुझे उन्हें प्राप्त करने, संपत्ति अपडेट करने और उन्हें डेटास्टोर में सहेजने और उन्हें बचाने में 40-50 सेकंड तक लग सकते हैं जो मैं नहीं ढूंढ रहा हूं।

बीमार अपने मॉडल को आसान बनाने में समझाने के लिए मुझे क्या करना है (जो वैसे भी बहुत सरल है):

class Entity(ndb.Model): 
    title = ndb.StringProperty() 

keys = [key1, key2, key3, key4, ..., key500] 

entities = ndb.get_multi(keys) 

for e in entities: 
    e.title = 'the new title' 

ndb.put_multi(entities) 

हो रही है और बदलाव भी अधिक समय नहीं लगता। मैंने get_async को एक टास्कलेट में प्राप्त करने का प्रयास किया और जो भी संभव हो, जो केवल तभी बदलता है जब फोरलोप अधिक समय लेता है।

लेकिन क्या वास्तव में मुझे परेशान करती है कि एक निराली 50seconds तक का समय लगता है ...

समय की एक सभ्य राशि में इस आपरेशन (रों) करने के लिए सबसे कारगर तरीका है क्या। बेशक मुझे पता है कि यह इकाई की जटिलता जैसे कई कारकों पर निर्भर करता है लेकिन जो समय लगता है वह वास्तव में स्वीकार्य सीमा से अधिक है।
मैंने पहले ही एसिंक ऑपरेशंस, टास्कलेट्स की कोशिश की है ...

Answer 1

मुझे आश्चर्य है कि 50 या 100 इकाइयों के छोटे बैचों को तेज करना होगा। अगर आप इसे किसी कार्य में बनाते हैं आइए उन कार्यलेटों को समवर्ती रूप से चलाने का प्रयास करें।

मैं यह देखने के लिए Appstats के साथ यह देखने की भी सिफारिश करता हूं कि यह कुछ आश्चर्यजनक दिखाता है या नहीं।

अंततः यह मानते हुए कि यह एचआरडी का उपयोग करता है, आप पाते हैं कि प्रति बैच इकाई समूहों की संख्या पर एक सीमा है। यह सीमा बहुत कम है। इसे उठाने का प्रयास करें।

Answer 2

मैपरेडस के लिए डिज़ाइन किया गया था। आप एक ही समय में सभी इकाइयों को एक साथ प्राप्त करने और संशोधित करके, यह तेजी से कर सकते हैं, कई सर्वर उदाहरणों में स्केल किए गए हैं। यद्यपि अधिक लागत का उपयोग करके आपकी लागत बढ़ जाती है।

Answer 3

मैं यह मानने जा रहा हूं कि आपके पास इकाई डिज़ाइन है जो आप चाहते हैं (यानी मैं आपसे नहीं पूछूंगा कि आप क्या करने की कोशिश कर रहे हैं और शायद आपके पास एक समूह की बजाय एक बड़ी इकाई होनी चाहिए छोटे जिन्हें आपको हर समय अपडेट करना होगा)। क्योंकि यह बहुत अच्छा नहीं होगा। (=

क्या होगा यदि आपने कार्य कतार का उपयोग किया था? आप कई कार्य बना सकते हैं और प्रत्येक कार्य यूआरएल को उस कुंजी को पैरामीटर कर सकता है जो अद्यतन करने के लिए ज़िम्मेदार है और संपत्ति और मूल्य जो सेट किया जाना चाहिए। इस तरह काम टूट गया है प्रबंधनीय हिस्सों में और उपयोगकर्ता के अनुरोध पृष्ठभूमि में काम करते समय तुरंत लौट सकते हैं? क्या यह काम करेगा?