आप जो वर्णन करते हैं (देरी के साथ उपलब्ध फाइलें और अप्रत्याशित क्रम में होने वाली लॉग फाइलें) वास्तव में declared by AWS की अपेक्षा करने के लिए व्यवहार के रूप में क्या है। यह वितरित प्रणाली की प्रकृति से है, एडब्ल्यूएस एस 3 एस 3 सेवा प्रदान करने के लिए उपयोग कर रहा है, एक ही अनुरोध अलग-अलग सर्वर से हर बार किया जा सकता है - मैंने प्रकाशन के लिए 5 अलग-अलग आईपी पते उपलब्ध कराए हैं।
तो एकमात्र समाधान है: देरी स्वीकार करें, आप जो देरी अनुभव करते हैं और कुछ अतिरिक्त समय जोड़ें और इस कुल देरी के साथ रहना सीखें (मुझे 30 से 60 मिनट की तरह कुछ उम्मीद होगी, लेकिन आंकड़े और बता सकते हैं)।
यदि आपको लॉग रिकॉर्ड आदेश की आवश्यकता है, तो आपने या तो स्वयं को सॉर्ट किया है, या कुछ लॉग प्रोसेसिंग समाधानों की खोज की है - मैंने इस उद्देश्य के लिए बिल्कुल कुछ एप्लिकेशन पेश किए हैं।
यदि आपको वास्तव में बहुत कम देरी के साथ अपनी लॉग फ़ाइल प्राप्त करने की आवश्यकता है, तो आपको लॉग स्वयं करना होगा और इसका मतलब है, आपको कुछ फ्रंटेंड लिखना और चलाने की ज़रूरत है, जो आपकी फ़ाइलों को एस 3 पर और वही समय आवश्यकतानुसार लॉगिंग रखता है।
मैं ऐसा समाधान चलाता हूं, उपयोगकर्ताओं को उपयोगकर्ता नाम और पासवर्ड और मेरे अग्रभाग का यूआरएल मिलता है। जैसे ही वे अनुरोध भेजते हैं, मैं मूल्यांकन करता हूं, अगर वे उचित प्रमाण-पत्र प्रदान करते हैं और यदि उन्हें दिए गए संसाधन को देखने की अनुमति है, और यदि ऐसा है, तो मैं उस संसाधन के लिए कुछ मिनट वैध अस्थायी यूआरएल बनाउंगा और अनुरोध को पुनर्निर्देशित करता हूं।
लेकिन इस तरह के सामने वाले पैसे (आपको कहीं भी अपना फ्रंटेंड चलाने की ज़रूरत है) और कम मजबूत है, फिर सीधे एडब्ल्यूएस एस 3 तक पहुंच रहा है।
गुड लक, लुलू।
स्रोत
2013-10-10 01:02:10
बहुत बहुत धन्यवाद! मैं अपने आंकड़ों के लिए इन लॉगों को डाउनलोड और विश्लेषण करने का प्रयास करूंगा। आपके लिए शुभ दिवस। – Lulu
क्या यह कहीं भी प्रलेखित है, कि लॉगिंग में देरी हो रही है? :) – Jigar
@ जिगर "सर्वश्रेष्ठ प्रयास सर्वर लॉग वितरण" देखें (http://docs.aws.amazon.com/AmazonS3/latest/dev/ServerLogs.html)। उद्धरण: सर्वर एक्सेस लॉग रिकॉर्ड सर्वोत्तम प्रयास के आधार पर वितरित किए जाते हैं। लॉगिंग के लिए उचित रूप से कॉन्फ़िगर की गई बाल्टी के लिए अधिकांश अनुरोधों के परिणामस्वरूप एक वितरित लॉग रिकॉर्ड होगा, और अधिकांश लॉग रिकॉर्ड रिकॉर्ड किए जाने के कुछ घंटों के भीतर वितरित किए जाएंगे। –