क्या किसी ने कई डेटा केंद्रों में डेटा नोड्स के प्रदर्शन की जांच करने का प्रयास किया है? छोटे पाइप के साथ विशेष रूप से नेटवर्क पर। मुझे इस पर बहुत अधिक जानकारी नहीं मिल रही है और मुझे जो जानकारी मिली है वह पुरानी है (लगभग 2010) या स्वामित्व (ऐसा लगता है जैसे डेटास्टैक्स में कुछ है)। मुझे पता है कि हैडोप रैक जागरूकता का समर्थन करता है लेकिन जैसा कि मैंने कहा है कि मैंने कई डेटा केंद्रों के लिए सिस्टम को ट्यून करने के लिए कोई दस्तावेज नहीं देखा है।एकाधिक डेटा केंद्रों में डेटा नोड्स वितरित करना
उत्तर
मैंने इसे 12 x डेटा नोड क्लस्टर के साथ 2: 1 अनुपात में व्यवस्थित किया है जिसमें दो डेटा केंद्रों के बीच लगभग 120 मील दूर है। डेटा केंद्रों के बीच लेटेंसी 2 x 1 जीबीई पाइप में ~ 4ms थी।
2 रैक्स साइट ए में कॉन्फ़िगर किए गए साइट ए, 1 रैक में कॉन्फ़िगर किए गए थे। प्रत्येक "रैक" में 4 मशीनें थीं। हम मूल रूप से साइट बी को 'डीआर' साइट के रूप में परीक्षण कर रहे थे। प्रतिकृति कारक 3.
लंबी कहानी छोटी, यह काम करता है, लेकिन प्रदर्शन वास्तव में वास्तव में बुरा था। आपको निश्चित रूप से अपने स्रोत I/O को कम करने के लिए अपने स्रोत, मानचित्र पर संपीड़न का उपयोग करना होगा और यदि किसी अन्य चीज़ के लिए साइट्स के बीच लिंक का उपयोग किया जाता है, तो आपको डेटा स्थानांतरित करते समय टाइमआउट प्राप्त होंगे। टीसीपी विंडोिंग 1 जीबीई लाइन पर संभावित 100 एमबीपीएस + के बजाय, हमारे स्थानांतरण को लगभग 4 एमबीपीएस तक सीमित कर देगी।
अपने आप को सिरदर्द बचाएं और डेटा को दोहराने के लिए बस distcp नौकरियों का उपयोग करें!
- 1. पोस्टग्रेस एकाधिक डिस्क में डेटा वितरित
- 2. कार्यकर्ता नोड्स पर पायथन डेटा/कोड वितरित करने पर सुझाव?
- 3. एक डेटा संरचना में एकाधिक डेटा फ्रेम संग्रहीत करना - आर
- 4. एकाधिक सर्वरों पर जावा धागे वितरित करना?
- 5. jquery.ajax एकाधिक डेटा पुनर्प्राप्ति
- 6. डेटा के ब्लॉक में एकाधिक पैटर्न को प्रतिस्थापित करना
- 7. पेड़ डेटा संरचना में नोड्स की कुल संख्या?
- 8. REST और एकाधिक डेटा प्रारूप
- 9. जेएसएफ डेटा में एकाधिक पाद लेख पंक्ति
- 10. डीडीडी में डेटा एक्सेस?
- 11. ग्रिड में डेटा दर्ज करना
- 12. लेआउट में डेटा पास करना
- 13. एकाधिक संस्करण उन्नयन में कोर डेटा माइग्रेशन
- 14. आवश्यकता डेटा एकाधिक डेटा-मुख्य का उपयोग कर
- 15. एकाधिक डेटा रीडर का उपयोग
- 16. डेटाबेस में एक्सएमएल डेटा संग्रहीत करना - कॉलम
- 17. $ .ajax सफलता से "डेटा" में हेरफेर करना: फ़ंक्शन (डेटा) {
- 18. कोर डेटा - एकाधिक धागे के बीच एनएसएमएनेज्ड ऑब्जेक्ट्स साझा करना
- 19. सम्मिलित करना डेटा wpdb
- 20. एक्सेस करना डेटा()
- 21. डेटा संरचना विकसित करना
- 22. डेटा स्थानांतरित करना यूएसबी
- 23. डेटा फ़िल्टर करना
- 24. सम्मिलित करना डेटा php
- 25. आउटपुटस्ट्रीम.write() सफल लेकिन डेटा वितरित नहीं किया गया है
- 26. लाखों नोड्स (सोशल नेटवर्क) के साथ ग्राफ डेटा स्ट्रक्चर
- 27. पुनरावर्ती पूछताछ - केवल चुनिंदा नोड्स जहां पत्र-गांठ सक्रिय डेटा
- 28. कोर डेटा: एकाधिक NSFetchedResultControllers के साथ UITableView
- 29. क्लस्टर पर स्केल वितरित करना?
- 30. एकाधिक तालिकाओं से एसक्यूएल योग डेटा