व्यक्तिगत CUDA कर्नेल लॉन्च करने वाले एकाधिक होस्ट थ्रेड

Question

मेरे सीयूडीए विकास के लिए, मैं 16 कोर के साथ एक मशीन और 16 जीएम के साथ 1 जीटीएक्स 580 जीपीयू का उपयोग कर रहा हूं। जो काम मैं कर रहा हूं, उसके लिए मैं 16 होस्ट थ्रेड्स (प्रत्येक कोर पर 1) लॉन्च करने की योजना बना रहा हूं, और 1 कर्नेल लॉन्च प्रति थ्रेड, प्रत्येक में 1 ब्लॉक और 1024 थ्रेड हैं। मेरा लक्ष्य 16 एसएम पर समानांतर में 16 कर्नेल चलाने के लिए है। क्या यह संभव/व्यवहार्य है?

मैंने स्वतंत्र संदर्भों के बारे में जितना संभव हो सके पढ़ने की कोशिश की है, लेकिन बहुत अधिक जानकारी उपलब्ध नहीं है। जैसा कि मैं इसे समझता हूं, प्रत्येक मेजबान धागे का अपना जीपीयू संदर्भ हो सकता है। लेकिन, मुझे यकीन नहीं है कि अगर मैं स्वतंत्र संदर्भों का उपयोग करता हूं तो कर्नेल समानांतर में चलेंगे या नहीं।

मैं सभी 16 होस्ट धागे से सभी डेटा को एक विशाल संरचना में पढ़ सकता हूं और इसे एक कर्नेल लॉन्च करने के लिए GPU को पास कर सकता हूं। हालांकि, यह बहुत अधिक प्रतिलिपि होगी और यह एप्लिकेशन को धीमा कर देगा।

Answer 1

जबकि एक बहु-थ्रेडेड एप्लिकेशन एक ही GPU पर एक साथ कई CUDA संदर्भ रख सकता है, तो वे संदर्भ एक साथ संचालन नहीं कर सकते हैं। सक्रिय होने पर, प्रत्येक संदर्भ में GPU का एकमात्र उपयोग होता है, और इसे किसी अन्य संदर्भ से पहले उपज करना चाहिए (जिसमें एक प्रतिपादन API या डिस्प्ले मैनेजर के साथ संचालन शामिल हो सकता है) GPU तक पहुंच प्राप्त कर सकता है।

तो एक शब्द में, कोई भी रणनीति किसी मौजूदा CUDA संस्करण या हार्डवेयर के साथ काम नहीं कर सकती है।

Answer 2

आप एक समय में केवल एक GPU पर एक संदर्भ प्राप्त कर सकते हैं। आपको समानांतरता के प्रकार को प्राप्त करने का एक तरीका सीयूडीए धाराओं का उपयोग करना होगा। आप संदर्भ के अंदर 16 धाराएं बना सकते हैं, और नाम से स्ट्रीम में memcopies और कर्नल लॉन्च कर सकते हैं। आप धाराओं का उपयोग करने पर त्वरित वेबिनार में और अधिक पढ़ सकते हैं: http://developer.download.nvidia.com/CUDA/training/StreamsAndConcurrencyWebinar.pdf। पूर्ण एपीआई संदर्भ CUDA टूलकिट मैनुअल में है। CUDA 4.2 मैनुअल http://developer.download.nvidia.com/compute/DevZone/docs/html/C/doc/CUDA_Toolkit_Reference_Manual.pdf पर उपलब्ध है।