सर्वर के बीच बड़े डेटा को तेजी से स्थानांतरित करना

Question

यह एक आम सवाल है, लेकिन यह गुगलिंग बहुत बकवास देता है।

मात्रा में डेटा उच्च और उच्च हो रही है के रूप में, सभी प्रसंस्करण शक्ति & बादल क्षमताओं के साथ, हम तेजी से डेटा अंतरण के प्रसार/चलती/साझा करने के द्वारा इस सभी उपलब्ध डेटा की शक्ति उन्मुक्त करने में सक्षम प्रौद्योगिकियों के लिए एक बढ़ती जरूरत देख रहे हैं यह विभिन्न सर्वर/ग्राहकों के पार।

हमारे मामले में, हम वास्तविक समय बाइनरी डेटा (दिन में 50 गीगा) रिकॉर्ड कर रहे हैं और हमें इसे प्रत्येक दिन/ग्राहकों से/इसे अपलोड करने की आवश्यकता है (हां, यह सब प्रत्येक ग्राहक सर्वर द्वारा स्थानीय रूप से आवश्यक है, कंप्यूटिंग और विभिन्न डेटा विश्लेषण सामान) के लिए

तो डाल करने के लिए शीघ्र ही, क्या आज उपलब्ध एक "काफी" लगातार bandwitdth के साथ दूरदराज के विंडोज़ सर्वर (VPS के, बादल, के बीच वास्तव में तेजी से डाटा के कई Gigs हस्तांतरण करने के लिए विकल्प हैं है - (ऑप्टिक फाइबर को अलग रखें))

यह एक खुला प्रश्न है। प्रोटोकॉल जो कुछ भी आइडिया स्वागत है।

Answer 1

नेटवर्क पर डेटा भेजने और प्राप्त करने की चुनौती बहु गुना है।

1. नेटवर्क बैंडविड्थ सबसे सीमित कारक है और शायद ही कुछ भी आप आवेदन स्तर पर इस के लिए क्या कर सकते हैं (कभी कभी संपीड़ित छोड़कर डेटा और यहां तक ​​कि उस मामले में संपीड़न राशन लाभ निर्धारित करता है)। इतना तेज़ नेटवर्क पहली पसंद है।

2. कुछ प्रोटोकॉल कुछ प्रकार की फाइलों/डेटा को स्थानांतरित करने के लिए अधिक उपयुक्त हैं। उदाहरण के लिए http एक पाठ आधारित प्रोटोकॉल है और वास्तव में बाइनरी और बड़ी सामग्री के लिए उपयुक्त नहीं है। लेकिन चूंकि यह सबसे लोकप्रिय वेब प्रोटोकॉल है जिसके लिए तार पर भेजने के लिए बाइनरी सामग्री की आवश्यकता होती है, encoding and chunking जैसी तकनीकें विकसित हुई हैं। HTTP वास्तव में पसंद नहीं है यदि आपका डेटा जीबी के क्रम में है जो आपका मामला है।

3. एफ़टीपी नेटवर्क पर फ़ाइलों को स्थानांतरित करने के लिए उपयोग किया जाने वाला सबसे लोकप्रिय प्रोटोकॉल है और इसकी विशेष रूप से फ़ाइलों को स्थानांतरित करने के लिए डिज़ाइन किया गया है। GridFTP, bbftp जैसे एफ़टीपी के कई एक्सटेंशन हैं जो विशेष रूप से बड़े डेटा स्थानांतरण के लिए डिज़ाइन किए गए हैं।

4. बिटटोरेंट्स एक और विकल्प है जिसे खोजा जा सकता है। फेसबुक द्विआधारी को सर्वर पर धक्का देने के लिए बिटोरोरेंट का उपयोग करता है (संख्या में हजारों)।

आप समस्या बहुत खुली है और मैं अपने अनुभव से सीमित हूं :)। Here is link मुझे पता चला कि बड़े डेटा स्थानान्तरण के कौन से सौदे हैं। उम्मीद है कि यह आपकी मदद करता है।