Google App Engine

Question

पर डेटास्टोर में बड़ी संख्या में इकाइयों को अपडेट करना मैं एक विशिष्ट प्रकार की सभी इकाइयों पर एक छोटा सा ऑपरेशन करना चाहता हूं और उन्हें डेटास्टोर में फिर से लिखना चाहता हूं। वर्तमान में मेरे पास इस तरह की 20,000 इकाइयां हैं लेकिन एक समाधान चाहते हैं जो किसी भी राशि तक स्केल करेगा।

मेरे विकल्प क्या हैं?

Answer 1

mapper का उपयोग करें - यह मैपरेडस ढांचे का हिस्सा है, लेकिन आप केवल पहला घटक, मानचित्र चाहते हैं, क्योंकि अगर आप बसस्टोर इकाइयों को आसानी से बदल रहे हैं तो आपको शफल/कम चरण की आवश्यकता नहीं है।

Answer 2

डैनियल सही है, लेकिन यदि आप नक्शाकार साथ गंदगी नहीं करना चाहता, कि तुम यह कर सकते हैं अपने अनुप्रयोग के लिए एक और पुस्तकालय को जोड़ने के लिए deferred library कि एसडीके 1.2 के बाद से शामिल किया गया है का उपयोग कर Task Queues या और भी आसान का उपयोग कर की आवश्यकता है .3।

20.000 इकाइयां यह नाटकीय नहीं है और मुझे लगता है कि यह कार्य नियमित आधार पर नहीं किया जा रहा है (लेकिन अगर ऐसा होता है, तो यह संभव है)।

यहाँ एक उदाहरण NDB का उपयोग कर और आस्थगित पुस्तकालय (आप आसानी से कर सकते डीबी का उपयोग कर, लेकिन अगर आप पहले से ही इसे प्रयोग नहीं कर रहे हैं वैसे भी NDB को बदलने पर विचार हैं) है। यह एक सुंदर सीधे आगे रास्ता है, लेकिन समय समाप्ति के बारे में ज्यादा देखभाल के बिना:

def update_model(limit=1000): 
    more_cursor = None 
    more = True 
    while more: 
    model_dbs, more_cursor, more = Model.query().fetch_page(limit, start_cursor=more_cursor) 
    for model_db in model_dbs: 
     model_db.updated = True 
    ndb.put_multi(model_dbs) 
    logging.info('### %d entities were updated' % len(model_dbs)) 

class UpdateModelHandler(webapp2.RequestHandler): 
    def get(self): 
    deferred.defer(update_model, _queue='queue') 
    self.response.headers['Content-Type'] = 'text/html' 
    self.response.out.write('The task has been started!')