अमेज़ॅन वेब सर्विसेज एस 3 अनुरोध सीमा

Question

मैं कुछ डेटा प्रोसेसिंग चलाने के लिए एडब्ल्यूएस का उपयोग कर रहा हूं। मेरे पास ईसी 2 में 4 प्रक्रियाओं के साथ 400 स्पॉट उदाहरण हैं, जिनमें से सभी एस 3 में एक बाल्टी को लिख रहे हैं।

503: मैं कह रहा एक (जाहिरा तौर पर असामान्य) त्रुटि प्राप्त करने के लिए शुरू कर दिया है धीमा

किसी को भी पता है क्या वास्तविक अनुरोध सीमा एक S3 बाल्टी के लिए है? मुझे इस पर कोई एडब्लूएस दस्तावेज नहीं मिल रहा है।

धन्यवाद! अस्थायी त्रुटि के परिणामस्वरूप

Answer 1

जो मैंने पढ़ा है, धीमा डाउन एक बहुत ही कम त्रुटि है। हालांकि, इस प्रश्न को पोस्ट करने के बाद मुझे एडब्ल्यूएस से एक ईमेल प्राप्त हुआ, जिसमें कहा गया था कि उसने मेरे लिस्ट अनुरोधों को प्रति सेकंड 10 अनुरोधों पर रोक दिया था क्योंकि मेरे पास बहुत से बाल्टी जाने के लिए बहुत कुछ था।

मैं जिस परियोजना पर काम कर रहा हूं उसके लिए मैं एक कस्टम क्यूइंग स्क्रिप्ट का उपयोग कर रहा था, जिसने प्रक्रिया के लिए अगले आइटम को निर्धारित करने के लिए LIST अनुरोधों पर भरोसा किया था। इस समस्या में भाग लेने के बाद मैंने एडब्ल्यूएस एसक्यूएस पर स्विच किया, जो कि मैंने सोचा था कि इसे लागू करने के लिए बहुत आसान था। कोई और कस्टम कतार नहीं, LIST अनुरोधों की कोई बड़ी मात्रा नहीं है।

उत्तर के लिए धन्यवाद!

Answer 2

एडब्ल्यूएस दस्तावेज़ 503। यह एक विशिष्ट सीमा को प्रतिबिंबित नहीं करता है।

"अमेज़न S3 का उपयोग के लिए उत्तम आचरण" निपटने त्रुटियों पर धारा (http://aws.amazon.com/articles/1904/) के अनुसार:

500-श्रृंखला त्रुटियों संकेत मिलता है कि एक अनुरोध सफल नहीं हुआ, लेकिन पुन: प्रयास किया जा सकता है। हालांकि, कम से कम, इन त्रुटियों को सेवा के साथ सामान्य बातचीत के हिस्से के रूप में उम्मीद की जानी चाहिए और स्पष्ट रूप से एक घातीय बैकऑफ एल्गोरिदम (आदर्श रूप से जो जिटर का उपयोग करता है) के साथ संभाला जाना चाहिए। ऐसा एक एल्गोरिदम http://en.wikipedia.org/wiki/Truncated_binary_exponential_backoff पर पाया जा सकता है।

विशेष रूप से यदि आप अचानक एक बाल्टी में सैकड़ों PUTs प्रति सेकंड निष्पादित करना शुरू करते हैं, तो आप पाएंगे कि कुछ अनुरोध 503 "धीमे डाउन" त्रुटि लौटाते हैं जबकि सेवा लोड को दोबारा विभाजित करने के लिए काम करती है। सभी 500 श्रृंखला त्रुटियों के साथ, इन्हें घातीय बैकऑफ के साथ संभाला जाना चाहिए।

कम विस्तृत होने पर, एस 3 त्रुटि प्रतिक्रिया दस्तावेज में 503 धीमा डाउन (http://docs.aws.amazon.com/AmazonS3/latest/API/ErrorResponses.html) शामिल है।

Answer 3

जेम्स ने जो कहा, उसे जोड़ने के लिए, एस 3 विभाजन के बारे में कुछ आंतरिक हैं जिन पर चर्चा की गई है और भविष्य में इसे कम करने के लिए इस्तेमाल किया जा सकता है क्योंकि घातीय बैकऑफ की आवश्यकता है।

यहाँ देखें: http://aws.typepad.com/aws/2012/03/amazon-s3-performance-tips-tricks-seattle-hiring-event.html

संक्षेप में, एक ही उपसर्ग के साथ सब कुछ की दुकान नहीं है या वहाँ एक उच्च संभावना आप इन किसी तरह उपसर्ग में बहुत पहले चरित्र के रूप में यादृच्छिक बनाने के लिए errors.Find होगा एस 3 के आंतरिक विभाजन में हॉटस्पॉट से बचने के लिए संभव है।