कमोडिटी लिनक्स स्टोरेज फार्म के लिए सर्वश्रेष्ठ वितरित फाइल सिस्टम

Question

मेरे पास बहुत से अतिरिक्त इंटेल लिनक्स सर्वर हैं जो सैकड़ों (सैकड़ों) बिछा रहे हैं और वेब होस्टिंग और फ़ाइल साझाकरण वातावरण में वितरित फ़ाइल सिस्टम के लिए उनका उपयोग करना चाहते हैं। यह एक एचपीसी आवेदन के लिए नहीं है, इसलिए उच्च प्रदर्शन महत्वपूर्ण नहीं है। मुख्य आवश्यकता उच्च उपलब्धता है, यदि एक सर्वर ऑफलाइन हो जाता है, तो इसके हार्ड ड्राइव पर संग्रहीत डेटा अभी भी अन्य नोड्स से उपलब्ध है। इसे टीसीपी/आईपी पर चलाना चाहिए और मानक पॉज़िक्स फ़ाइल अनुमतियां प्रदान करना चाहिए।

मैं निम्नलिखित देखा है:

• आलोक (http://wiki.lustre.org/index.php?title=Main_Page): आता है वास्तव में करीब है, लेकिन यह एक नोड पर डेटा के लिए अतिरेक प्रदान नहीं करता है। आपको RAID या DRBD का उपयोग करके डेटा HA बनाना होगा। सूर्य और ओपन सोर्स द्वारा समर्थित, इसलिए यह थोड़ी देर के लिए

• gfarm (http://datafarm.apgrid.org/): ऐसा लगता है कि यह अनावश्यकता प्रदान करता है लेकिन जटिलता और रखरखाव की लागत पर। लस्टर के रूप में भी समर्थित नहीं है।

क्या किसी के पास इन या किसी अन्य सिस्टम के साथ कोई अनुभव है जो काम कर सकता है?

Answer 1

जांच भी GlusterFS

संपादित करें (अगस्त 2012):Ceph अंत में तैयार हो रहा है। हाल ही में लेखकों ने Inktank बनाया, इसके लिए वाणिज्यिक सहायता बेचने के लिए एक स्वतंत्र कंपनी। कुछ प्रस्तुतियों के मुताबिक, माउंटेबल पॉज़िक्स-अनुपालन फाइल सिस्टम सबसे ऊपर की परत है और वास्तव में अभी तक परीक्षण नहीं किया गया है, लेकिन कम परतों का उत्पादन अब कुछ समय के लिए किया जा रहा है।

दिलचस्प हिस्सा RADOS परत है, जो librados लाइब्रेरी (कई भाषाओं के लिए उपलब्ध) और एक अमेज़ॅन एस 3-संगत आरईएसपी एपीआई के माध्यम से 'मूल' पहुंच दोनों के साथ ऑब्जेक्ट-आधारित स्टोरेज प्रस्तुत करता है। कोई भी वेब सेवा में भारी संग्रहण जोड़ने के लिए पर्याप्त से अधिक बनाता है।

This video दर्शन, वास्तुकला, क्षमताओं और वर्तमान स्थिति का एक अच्छा वर्णन है।

Answer 2

Ceph क्षेत्र में एक आशाजनक नई-आइश प्रविष्टि दिखता है। साइट का दावा है कि यह अभी तक उत्पादन के उपयोग के लिए तैयार नहीं है।

Answer 3

चमक हमारे लिए काम कर रहा है। यह सही नहीं है लेकिन यह एकमात्र चीज है जिसे हमने कोशिश की है जो भार से टूट नहीं गया है। हमें समय-समय पर एलबीयूजीएस मिलते हैं और 100 टीबी + फाइल सिस्टम से निपटना कभी आसान नहीं होता है लेकिन चमक प्रणाली ने काम और उपलब्धता दोनों में काम किया है और बढ़ाया है।

Answer 4

Gluster इस समय काफी प्रेस के एक बहुत हो रही है:

http://www.gluster.org/

Answer 5

मैं वितरित फ़ाइल सिस्टम के बारे में बहुत पढ़ा है और मुझे लगता है कि FhGFS सबसे अच्छा है।

http://www.fhgfs.com/

यह एक कोशिश के लायक।पर इसके बारे में अधिक देखें: कोई नहीं आप इसे उपयोग करने के लिए मजबूर करता

http://www.fhgfs.com/wiki/

Answer 6

हैं, तो मैं भी अत्यधिक चमक से कुछ और का उपयोग कर की सिफारिश करेंगे। जो कुछ मैंने दूसरों से सुना है और जो कुछ भी समय के लिए खुद को दुःस्वप्न देता है वह तथ्य यह है कि लस्टर आसानी से सभी प्रकार की स्थितियों में टूट जाता है। और यदि सिस्टम में केवल एक ही ग्राहक टूट जाता है, तो यह कुछ महत्वपूर्ण वैश्विक लॉक रखते हुए आम तौर पर एक अंतहीन do_nothing_loop मोड में डालता है - इसलिए अगली बार जब कोई अन्य ग्राहक एक ही जानकारी तक पहुंचने का प्रयास करता है, तो यह भी लटका होगा। इस प्रकार, आप अक्सर पूरे क्लस्टर को रिबूट करना समाप्त करते हैं, जो मुझे लगता है कि आप सामान्य रूप से बचने की कोशिश करेंगे;)

एफएचजीएफएस (http://www.fhgfs.com) जैसे आधुनिक समांतर फ़ाइल सिस्टम यहां अधिक मजबूत हैं और आपको एक ही मशीन पर सर्वर और क्लाइंट घटकों को चलाने जैसी अच्छी चीजें करने की इजाजत देता है (हालांकि अंतर्निहित एचए फीचर्स अभी भी विकास में हैं, क्योंकि उनकी टीम के किसी ने मुझे बताया है, लेकिन उनका कार्यान्वयन मैं जो कुछ भी करता हूं उससे बहुत बढ़िया होगा। सुना है)।

Answer 7

मेरी राय में, लिनक्स के लिए सबसे अच्छी फाइल सिस्टम मूसएफएस है, यह काफी नया है, लेकिन मुझे इसे सेफ और लस्टर के साथ तुलना करने का अवसर मिला और मैं यह सुनिश्चित करने के लिए कहता हूं कि मूसफ़ेस सबसे अच्छा है।