अमेज़ॅन वेब सर्विसेज क्लस्टर जीपीयू उदाहरणों के समान निजी क्लाउड जीपीयू वर्चुअलाइजेशन

Question

मैं ऐसे विकल्पों की खोज कर रहा हूं जो गतिशील क्लाउड-आधारित एनवीआईडीआईए जीपीयू वर्चुअलाइजेशन को सक्षम करते हैं जैसे कि एडब्ल्यूएस Cluster GPU Instances के लिए जीपीयू असाइन करता है।

मेरी परियोजना एक आंतरिक बादल खड़े होने पर काम कर रही है। एक आवश्यकता सर्वर-साइड CUDA प्रसंस्करण के लिए वर्चुअल मशीन/उदाहरणों के लिए जीपीयू आवंटित करने की क्षमता है।

यूएससी इस समर्थन के लिए OpenStack enhancements पर काम कर रहा प्रतीत होता है लेकिन यह अभी तक तैयार नहीं है। ओपनस्टैक में यह पूरी तरह से कार्यात्मक होने पर यह वही होगा जो मैं देख रहा हूं।

NVIDIA VGX केवल GPUs को आवंटन का समर्थन करता है USMs, जो कड़ाई से दूरस्थ डेस्कटॉप GPU वर्चुअलाइजेशन है। यदि मैं गलत हूं, और वीजीएक्स वर्चुअल-मशीन/इंस्टेंस से सर्वर-साइड CUDA कंप्यूटिंग सक्षम करता है तो कृपया मुझे बताएं।

Answer 1

"गतिशील क्लाउड-आधारित एनवीआईडीआईए जीपीयू वर्चुअलाइजेशन जिस तरह से एडब्ल्यूएस क्लस्टर जीपीयू इंस्टेंस के लिए जीपीयू असाइन करता है।"

एडब्ल्यूएस वास्तव में जीपीयू गतिशील रूप से आवंटित नहीं करता है: प्रत्येक जीपीयू क्लस्टर कंप्यूट में 2 निश्चित जीपीयू होते हैं। अन्य सभी सर्वर (नियमित क्लस्टर कंप्यूट सहित) में कोई GPU नहीं है। अर्थात। उनके पास एक एपीआई नहीं है जहां आप "GPU या नहीं" कह सकते हैं, यह बॉक्स प्रकार के लिए तय है, जो निश्चित हार्डवेयर का उपयोग करता है।

ज़ेन पर पास-थ्रू मोड विशेष रूप से आपके उपयोग के मामले के लिए बनाया गया था: होस्ट से अतिथि तक हार्डवेयर पास करना। यह डिफ़ॉल्ट रूप से 'गतिशील' नहीं है, लेकिन आप कुछ कोड लिख सकते हैं जो मेजबान पर प्रत्येक कार्ड प्राप्त करने के लिए मेहमानों में से एक को चुनता है।

Answer 2

GPUBox नामक एक समाधान है जो CUDA के भीतर डिवाइस को वर्चुअलाइज करता है। इसका इस्तेमाल अमेज़ॅन या आपके स्वयं के बुनियादी ढांचे पर किया जा सकता है। वेबसाइट से

उद्धरण (http://renegatt.com/solutions.php):

GPUBox सॉफ्टवेयर अंतर्निहित GPU उपकरणों से आवेदन और ऑपरेटिंग सिस्टम को अलग करके GPU प्रबंधन सरल करता है। यह एक समाधान है जो कई उपयोगकर्ताओं द्वारा समान पूल से GPU डिवाइसों की गतिशील साझा करने की अनुमति देता है। (...) GPUBox जीपीयू उपकरणों के ऑन-डिमांड प्रोविजनिंग को लिनक्स या विंडोज ऑपरेटिंग सिस्टम के साथ भौतिक या वर्चुअल मशीन पर ऑन-डिमांड प्रोविजनिंग सक्षम बनाता है। जीपीयू उपकरणों का पूल उपयोगकर्ताओं के बीच साझा किया जाता है जो कुल बिजली की खपत में कमी और निष्क्रिय चलने वाले हार्डवेयर में कमी लाता है।