एकाधिक सर्वरों पर बड़ी मात्रा में छवियों को स्टोर करें

Question

मैं जानना चाहता हूं कि Google, facebook जैसे एकाधिक सर्वरों पर बड़ी मात्रा में छवियों को संग्रहीत करने के लिए सबसे अच्छा समाधान क्या है।

ऐसा लगता है कि फाइल सिस्टम में भंडारण बेहतर तो एक डेटाबेस के अंदर लेकिन कैसेंड्रा की तरह एक NoSQL डीबी का उपयोग कर के बारे में क्या है।

गूगल/Facebooke लोड संतुलन के लिए कई सर्वरों में एक ही छवि को संग्रहित करें। यह कैसे काम करता है? सबसे अच्छा समाधान क्या है?

Thx एक बहुत

Answer 1

आपके द्वारा उठाए जा रहे दृष्टिकोण में कुछ भी गलत नहीं है। जैसा कि बताया गया है, वहां चेतावनी हैं, हालांकि, संभावनाएं मौजूद हैं, और बहुत से लोग और कंपनियां अपाचे कैसंद्रा में फ़ाइलों को सफलतापूर्वक संग्रहित कर रही हैं।

• zjffdu/cassandra-fs पहला समाधान है जिसे मैं देखता हूं। अब, यह आखिरी बार 2 साल पहले विकसित हुआ था, इसलिए मैं बॉक्स के बाहर पहली बार काम करने पर थोड़ा सावधान रहूंगा। Apache Cassandra अब 1.0.x के साथ संस्करण 1.0.x पर है। 2 साल पहले, यह संस्करण 0.6.x शायद था? बहुत कुछ बदल गया है & 24 महीनों में सुधार हुआ है।
• semantico/cassandra-fs एक कांटा ... पिछले 7 महीने पहले
• favoritas37/cassandra-fs एक और कांटा छुआ ... पिछले 3 महीने पहले छुआ और कैसेंड्रा
की

1.0.5 शाखा के साथ संगतता को इंगित करता है के पीछे यह है प्रमुख फ़ाइल लेने के लिए, इसे टुकड़ों के एक सेट में तोड़ दें और उन हिस्सों को पंक्तियों में कॉलम के रूप में स्टोर करें। पुनर्प्राप्त करते समय, प्रत्येक कॉलम खींचें, फ़ाइल और वॉयला को फिर से इकट्ठा करें।

Cassandra FAQ: large file and blog storage

... 64Mb आसपास की फ़ाइलें और छोटे आसानी से उन्हें छोटे टुकड़ों में बंटवारे के बिना डेटाबेस में संग्रहित किया जा सकता है ...

Lucene indexes in Cassandra

। ..its फ़ाइलों को ब्लॉक में विभाजित कर दिया जाता है (जिनके आकार कैप्ड किए जाते हैं), जहां प्रत्येक ब्लॉक (फ़ाइलब्लॉक देखें) को इसी पंक्ति में कॉलम के मान के रूप में संग्रहीत किया जाता है। ..

आपको कैसंड्रा मेलिंग सूची और आईआरसी चैनल पर अधिक सकारात्मक प्रतिक्रिया मिलेगी।

अंत में, यह 200 9 से है, और फेसबुक पर लोगों द्वारा लिखित, जो आपके पास मौलिक प्रश्नों के उत्तर देने में मदद करने के लिए कुछ रास्ता तय करना चाहिए: Cassandra - A Decentralized Structured Storage System।

Answer 2

आप एक "बादल" पर्यावरण आप सबसे अच्छा एक बादल समाधान इस तरह गूगल एप इंजन या अमेज़न वेब सेवा के रूप में संसाधनों है कि के साथ जा रहे हैं में संग्रहीत करना चाहते हैं। यदि यह सवाल है तो आप अपना खुद का सेटअप करने में सक्षम नहीं होंगे। उन्हें प्रबंधित करने के लिए लाखों डॉलर और संसाधन खर्च होंगे। और हां, Google और फेसबुक हजारों सर्वरों का उपयोग "बादल" में अपने डेटा को वितरित करने के लिए करते हैं।

Answer 3

ध्यान दें, मैं जानता हूँ कि यह एक पुराने सवाल है, मैं सिर्फ लागत के बारे में कुछ गलतफहमी संतुलन के रूप में मैं एक परीक्षण के रूप में अब यह सही कर रहा हूँ मुकाबला करने के लिए चाहते हैं।

डेविडबी के विचारों के विपरीत, इसका खर्च लाखों नहीं है - भले ही आप समर्पित होस्टेड हार्डवेयर चला रहे हों, आप आसानी से कुछ हज़ार/महीने (बीटीडीटी, मेरे ग्राहकों में से एक के लिए 8 नोड क्लस्टर चला रहे हैं लगभग $ 800/माह)। उस ने कहा, यह एक रखरखाव सिरदर्द है जिसे आप टालना चाहते हैं, और ईसी 2 पर कैसंड्रा से निपटने के लिए कहीं अधिक आसान है।

आप आसानी से $ 1000/माह से कम के लिए ईसी 2 पर पर्याप्त उत्पादन क्लाउड चला सकते हैं और आप $ 100/माह से कम के लिए आर & डी बादल (मैं 10 मशीन परीक्षण क्लस्टर के लिए पिछले महीने लगभग 52 डॉलर खर्च कर सकता हूं) कर सकता हूं। मैं & को प्रबंधित करने के लिए टर्नके लिनक्स का उपयोग करने की अत्यधिक अनुशंसा करता हूं, आपके आर & डी फार्म को प्रावधान करें, क्योंकि उनके उपकरण आपको कुछ मिनटों (और इसके विपरीत) में किसी भी वर्चुअलाइज्ड होस्टिंग प्लेटफॉर्म पर अपने डेस्कटॉप से ​​उदाहरण माइग्रेट करने की अनुमति देंगे। इसके अलावा वे वास्तव में EC2 के साथ एकीकरण एकीकरण है।

यातायात का वास्तव में गंभीर स्तरों के लिए, Pintrest एक बार कहा कि वे $ 15 से $ 50/घंटा खर्च सर्वर लोड, ऑटो स्केलिंग के आधार पर यातायात मांगों को पूरा करने, देखने के विवरण

के लिए http://www.theregister.co.uk/2012/04/30/inside_pinterest_virtual_data_center/

वास्तविक लागत सेटअप में है और प्रबंधित आपके वितरित कैसंद्रा उदाहरण का। सौभाग्य से, नेटफ्लिक्स ने सिर्फ इसके लिए प्रबंधन उपकरण का एक टन जारी किया है। आप उन्हें यहां पा सकते हैं: https://github.com/netflix - नेटफ्लिक्स के एडब्ल्यूएस के उपयोग के बारे में दिलचस्प वीडियो भी हैं, विशेष रूप से कैसंद्रा से एस 3 तक चलने वाली सामग्री - उनके ब्लॉग को http://techblog.netflix.com/2012/12/videos-of-netflix-talks-at-aws-reinvent.html