अमेज़ॅन एस 3 एक्सेस लॉग फाइल कितने विश्वसनीय हैं?

Question

हम अपने वेब ऐप के लिए कुछ स्थिर रूप से जेनरेट की गई सामग्री की सेवा शुरू करने के लिए s3 पर जा रहे हैं। हम अपनी साइट के उपयोग के बारे में एक मीट्रिक सिस्टम बनाने के लिए एक तंत्र को देख रहे हैं और हम सामग्री अनुरोध पर लॉग इन करने के लिए अतिरिक्त जानकारी पास करके एस 3 के लिए एक्सेस लॉग को पार्स करने की योजना बना रहे थे। हम निम्नलिखित entry in the developers guide के पार हुआ:

सर्वश्रेष्ठ प्रयास सर्वर लॉग प्रसव

सर्वर का उपयोग लॉगिंग सुविधा सबसे अच्छा प्रयास के लिए बनाया गया है। आप उम्मीद कर सकते हैं कि एक बाल्टी के खिलाफ सबसे अनुरोध करता है कि ठीक से प्रवेश के लिए कॉन्फ़िगर किया गया है एक वितरित लॉग रिकॉर्ड में परिणाम होगा, और सबसे लॉग रिकॉर्ड समय है कि वे दर्ज किए गए के कुछ ही घंटों के भीतर वितरित किया जाएगा।

हालांकि, सर्वर लॉगिंग सुविधा सर्वोत्तम प्रयास के आधार पर दी गई है। सर्वर लॉगिंग की पूर्णता और समयबद्धता की गारंटी नहीं है। किसी विशेष अनुरोध के लिए रिकॉर्ड अनुरोध के बाद लंबे समय तक वितरित किया जा सकता है वास्तव में संसाधित किया गया था, या यह बिल्कुल वितरित नहीं किया जा सकता है। सर्वर लॉग का उद्देश्य बाल्टी मालिक को अपनी बाल्टी के विरुद्ध यातायात की प्रकृति का एक विचार देना है। यह सभी अनुरोधों का पूरा लेखांकन नहीं है।

हम सोच रहे हैं कि एक्सेस लॉग के वितरण के संबंध में अन्य लोगों ने क्या अनुभव किया है? हमारा विकल्प एक HTTP सर्वर बनाने और मेट्रिक्स को एक अलग कॉल के साथ मीटर करने का प्रयास करना है, लेकिन हमें लगता है कि लॉग फ़ाइलों को पार्स करना कम काम साबित हो सकता है। हम जानना चाहते हैं कि लोगों ने ऐसी स्थितियों को देखा है जहां डिलीवरी नहीं हुई थी, इस बारे में गेज करने की कोशिश करने के लिए कि हम कितने सटीक होने की उम्मीद कर सकते हैं क्योंकि हमारे द्वारा इकट्ठा किए गए कुछ मीट्रिक का उपयोग हमारी कुछ व्यावसायिक प्रक्रियाओं में किया जाता है।

Answer 1

मुझे आश्चर्य हुआ कि एस 3 पर मेरी लॉग फाइलें एक महीने से कम हो गई थीं। मेरे ऐप के लिए अमेज़ॅन पर लॉग को पार्स करना जरूरी नहीं था, लेकिन मुझे आपका दृष्टिकोण पसंद है। मैंने जो देखा है, उससे आप लॉग फ़ाइलों को सटीक और पूर्ण होने की उम्मीद कर सकते हैं। उनके सीवाईए चेतावनी के आधार पर, लॉग का उपयोग किसी भी महत्वपूर्ण के लिए नहीं किया जाना चाहिए।

Answer 2

मैं जानता हूँ कि यह आपके प्रश्न का उत्तर नहीं है, लेकिन ...

जब तक आपकी स्थिर फ़ाइलें (आदि डाउनलोड के लिए हस्ताक्षर किए यूआरएल,) प्राधिकरण के कुछ प्रकार की आवश्यकता होती है, मैं करने के लिए कोई अच्छा यूज-केस को देखने के स्थिर सामग्री की सेवा के लिए एस 3 का उपयोग करें।

यह एक सीडीएन नहीं है और इसका उपयोग एक के रूप में नहीं किया जाना है। ;-)

कम से कम, मैं क्लाउडफ़्रंट का उपयोग करने की अनुशंसा करता हूं लेकिन IMHO यह बहुत महंगा है (और दूसरों की तुलना में बहुत अच्छा प्रदर्शन नहीं करता है)। मैं edgecast या cachefly जैसे किसी व्यक्ति की सलाह दूंगा क्योंकि वे आपके पैसे के लिए अधिक ऑफर करते हैं। \

वे आपको (अधिक या कम) व्यापक स्थैतिकताओं और आपके कैश के आसान शुद्धीकरण और अमान्यता जैसी कई अच्छी सुविधाएं भी प्रदान करते हैं।

Answer 3

हम तुलनात्मक रूप से बड़ी मात्रा में डेटा (100 एम पंक्तियों के क्रम में) लॉग करने के लिए S3 का उपयोग कर रहे हैं।हम एक विशेष उद्देश्य के लिए S3 पहुँच लॉग पर भरोसा करने की जरूरत है और हम कुछ मुद्दों है कि बारे में पता होना करने के लिए उपयोग लॉग के संभावित उपयोगकर्ताओं के लिए महत्वपूर्ण हो सकता है देख रहे हैं:

• हम देखते हैं (कुछ) लॉग प्रविष्टियों को दिखा कई दिनों के बाद वे
• बनाया जा करने वाले हैं हम डुप्लिकेट प्रविष्टियों एक भी एस 3 लेन-देन (वर्तमान में जांच कर)
• वहाँ भी है जहाँ एक लॉग प्रविष्टि वास्तव में नहीं बनाई गई है मामलों (वर्तमान में जांच कर)

हो रहा है प्रवेश करने को देखने के मेरी सिफारिश है कि भरोसा करने से बचें डेटा सटीकता और पूर्णता महत्वपूर्ण है तो एस 3 एक्सेस लॉग।