पर 1 मिलियन छवि फ़ाइलों को स्थानांतरित करना मैं एक छवि साझा करने वाली वेबसाइट चलाता हूं जिसमें 1 मिलियन से अधिक छवियां (~ 150GB) हैं। मैं वर्तमान में अपने समर्पित सर्वर में हार्ड ड्राइव पर संग्रहीत कर रहा हूं, लेकिन मैं जल्दी से अंतरिक्ष से बाहर निकल रहा हूं, इसलिए मैं उन्हें अमेज़ॅन एस 3 में ले जाना चाहता हूं।अमेज़ॅन एस 3
मैंने एक आरएसवाईएनसी करने की कोशिश की है और यह सिर्फ एक दिन में आरएसवाईएनसी को स्कैन करने और छवि फ़ाइलों की सूची बनाने के लिए लिया है। स्थानांतरित करने के एक और दिन के बाद, यह केवल 7% पूर्ण था और मेरे सर्वर को क्रॉल में धीमा कर दिया था, इसलिए मुझे रद्द करना पड़ा।
क्या ऐसा करने का कोई बेहतर तरीका है, जैसे कि उन्हें किसी अन्य स्थानीय हार्ड ड्राइव पर GZIP और फिर उस फ़ाइल को स्थानांतरित/अनजिप करें?
मैं यह भी सोच रहा हूं कि इन फ़ाइलों को एकाधिक उपनिर्देशिका में स्टोर करना समझ में आता है या क्या यह एक ही निर्देशिका में सभी मिलियन + फाइलें ठीक है?
यह प्रोग्रामिंग से संबंधित नहीं है। – Alan
आप इसे रात में चला सकते हैं जब आपका सर्वर व्यस्त नहीं होता है। इसके अलावा "अच्छा" टूल भी है जो आपकी धीमी गति को कम कर सकता है। चूंकि rsync को डुप्लिकेट छोड़ने के लिए कॉन्फ़िगर किया जा सकता है, इसलिए अंततः गति में सुधार होगा। मैं निश्चित रूप से छवियों को उपनिर्देशिका में विभाजित कर दूंगा क्योंकि 100,000 फ़ाइलों को प्राप्त करने के बाद कई लिनक्स कमांड विफल होने लगते हैं। एक और मुद्दा, यदि आपके पास बहुत सारी फ़ाइलें हैं तो आप इनोड से बाहर हो सकते हैं। –