ApplicationError: 7 जब प्रसंस्करण Google क्लाउड संग्रहण

Question

को mapreduce कार्यकर्ता लिखने के लिए किया जाता है बस एक बड़े AppEngine mapreduce कार्य हाथ में परिष्करण, और मेरे टुकड़े के कई finishline से अटक क्षण नहीं है। यहां सेटअप है:

filenames = yield mapreduce_pipeline.MapperPipeline(
      'example mapper name', 
      'main.MyMapper', 
      input_reader_spec='mapreduce.input_readers.DatastoreInputReader', 
      output_writer_spec='mapreduce.output_writers.FileOutputWriter', 
      params={ 
       'input_reader':{ 
        'entity_kind':'models.MyModel' 
       }, 
       'output_writer':{ 
        'filesystem':'gs', 
        'mime_type':'text/csv', 
        'gs_bucket_name':'myBucket', 
        'output_sharding':'input' 
       } 
      }, 
      shards=DUMP_SHARDS 
      ) 

मैं इनमें से 3 को समानांतर में चला रहा हूं, प्रत्येक में 16 शर्ड्स हैं। एक मैपर बिना किसी मुद्दे के पूरा हुआ, अन्य दो मैपरों ने अपने शॉर्ड्स के 14 और 9 पर सफलता हासिल की है।

शेष टुकड़े सब पूरी तरह से अनसुना कर रहे हैं, UnknownError: ApplicationError: 7 लौटने। (इस पोस्ट के अंत में पूर्ण स्टैक ट्रेस।)

ध्यान दें कि मैपर Google क्लाउड स्टोरेज पर लिखने का प्रयास कर रहा है। त्रुटि उन बिट्स में होती है जो इस लेखन को निष्पादित कर रहे हैं।

थोड़ी देर के लिए शिकार करने के बाद, मैंने पाया, google.appengine.runtime.apiproxy (जो प्रश्न में प्रॉक्सी प्रतीत होता है) में, त्रुटि 7 OTHER_ERROR है।

मैं इन अंतिम कार्यों (कार्य कतार से) को लगभग 3 घंटे के लिए पुनः प्रयास कर रहा हूं, और इन त्रुटियों के बाद से कोई भी सफल नहीं हुआ है; जो भी हो रहा है, यह पूरी तरह से अटक गया है। मैं भी इस मामले में सभी उदाहरणों इस पर चल रहा था, को रोकने के लिए यह कुछ अजीब स्थानीय राज्य बात थी की कोशिश की है, लेकिन कोई परिवर्तन ...

यहाँ पूर्ण स्टैक ट्रेस है:

I 2012-12-13 15:40:23.909 
Processing done for shard 14 of job '1582444192075C233F6AA' 
E 2012-12-13 15:40:23.969 
ApplicationError: 7 
Traceback (most recent call last): 
    File "/base/python27_runtime/python27_lib/versions/third_party/webapp2-2.3/webapp2.py", line 1511, in __call__ 
    rv = self.handle_exception(request, response, e) 
    File "/base/python27_runtime/python27_lib/versions/third_party/webapp2-2.3/webapp2.py", line 1505, in __call__ 
    rv = self.router.dispatch(request, response) 
    File "/base/python27_runtime/python27_lib/versions/third_party/webapp2-2.3/webapp2.py", line 1253, in default_dispatcher 
    return route.handler_adapter(request, response) 
    File "/base/python27_runtime/python27_lib/versions/third_party/webapp2-2.3/webapp2.py", line 1077, in __call__ 
    return handler.dispatch() 
    File "/base/python27_runtime/python27_lib/versions/third_party/webapp2-2.3/webapp2.py", line 547, in dispatch 
    return self.handle_exception(e, self.app.debug) 
    File "/base/python27_runtime/python27_lib/versions/third_party/webapp2-2.3/webapp2.py", line 545, in dispatch 
    return method(*args, **kwargs) 
    File "/base/data/home/apps/myserver/myinstance.363844686987482417/mapreduce/base_handler.py", line 65, in post 
    self.handle() 
    File "/base/data/home/apps/myserver/myinstance.363844686987482417/mapreduce/handlers.py", line 231, in handle 
    tstate.output_writer.finalize(ctx, shard_state.shard_number) 
    File "/base/data/home/apps/myserver/myinstance.363844686987482417/mapreduce/output_writers.py", line 631, in finalize 
    files.finalize(self._filename) 
    File "/base/data/home/apps/myserver/myinstance.363844686987482417/mapreduce/lib/files/file.py", line 568, in finalize 
    f.close(finalize=True) 
    File "/base/data/home/apps/myserver/myinstance.363844686987482417/mapreduce/lib/files/file.py", line 291, in close 
    self._make_rpc_call_with_retry('Close', request, response) 
    File "/base/data/home/apps/myserver/myinstance.363844686987482417/mapreduce/lib/files/file.py", line 427, in _make_rpc_call_with_retry 
    _make_call(method, request, response) 
    File "/base/data/home/apps/myserver/myinstance.363844686987482417/mapreduce/lib/files/file.py", line 252, in _make_call 
    _raise_app_error(e) 
    File "/base/data/home/apps/myserver/myinstance.363844686987482417/mapreduce/lib/files/file.py", line 186, in _raise_app_error 
    raise UnknownError(e) 
UnknownError: ApplicationError: 7 

Answer 1

मैं अभी एक समान मुद्दा था। मुझे लगता है कि यह विशेष रूप से Google क्लाउड स्टोरेज समस्या के लिए एक लेखन है।

मैं यहाँ कुछ जानकारी मिल गया है: Google App Engine Issue: 8775

सारांश (TLDR):

• एक बार की नेटवर्क समस्या हो सकता है।
• बिलिंग समस्या हो सकता है।
• परिणाम: यदि यह दूर नहीं जाता है और बिलिंग तय करना काम नहीं करता है, तो Google समर्थन से संपर्क करें।