इंटेल फाई

Question

पर एमकेएल प्रदर्शन मेरे पास एक नियमित है जो मॉडल को फिट करने के लिए छोटे मैट्रिस (50-100 x 1000 तत्व) पर कुछ एमकेएल कॉल करता है, जिसे मैं अलग-अलग मॉडल के लिए कॉल करता हूं। छद्म कोड में:

int main(int argc, char **argv) { 
    ... 
    int numthreads=omp_max_num_threads(); 
    int c; 
#pragma omp parallel for private(c) 
    for(int t=0; t<numthreads; t++) { 
    // assuming nmodel divisible by numthreads...  
    c_start = t*nmodel/numthreads+1; 
    c_end = (t+1)*nmodel/numthreads; 
    for(c=c_start; c<c_stop; c++) { 
     ... 
     result = doModelFit(c, ...); 
     ... 
    } 
    } 
} 

जब:

double doModelFit(int model, ...) { 
    ... 
    while(!done) { 
    cblas_dgemm(...); 
    cblas_dgemm(...); 
    ... 
    dgesv(...); 
    ... 
    } 
    return result; 
} 

int main(int argc, char **argv) { 
    ... 
    c_start = 1; c_stop = nmodel; 
    for(int c=c_start; c<c_stop; c++) { 
    ... 
    result = doModelFit(c, ...); 
    ... 
    } 
} 

कॉल ऊपर संस्करण 1. चूंकि मॉडल स्वतंत्र हैं, मैं फिटिंग मॉडल parallelize करने, के रूप में (संस्करण 2) इस प्रकार OpenMP धागे का उपयोग कर सकते मैं मेजबान मशीन पर संस्करण 1 चलाता हूं, इसमें ~ 11 सेकंड लगते हैं और VTune खराब समांतरता की रिपोर्ट करता है जिसमें ज्यादातर समय निष्क्रिय रहता है। मेजबान मशीन पर संस्करण 2 ~ 5 सेकंड लेता है और वीट्यून महान समांतरता की रिपोर्ट करता है (लगभग 100% समय के उपयोग में 8 सीपीयू के साथ खर्च किया जाता है)। अब, जब मैं मूल मोड (फीम कार्ड) में फाई कार्ड पर चलाने के लिए कोड संकलित करता हूं, तो संस्करण 1 और 2 दोनों को mic0 पर कमांड प्रॉम्प्ट पर चलाने के दौरान लगभग 30 सेकंड लगते हैं। जब मैं vtune का उपयोग यह प्रोफ़ाइल:

• संस्करण 1 एक ही लगभग 30 सेकंड लेता है, और हॉटस्पॉट विश्लेषण से पता चलता है कि ज्यादातर समय __kmp_wait_sleep और __kmp_static_yield में खर्च किया जाता है। 7710 के सीपीयू समय में, स्पिन टाइम में 5804 खर्च किए जाते हैं।
• संस्करण 2 fooooorrrreevvvver लेता है ... मैं VTune में कुछ मिनट चलाने के बाद इसे मारता हूं। हॉटस्पॉट विश्लेषण से पता चलता है कि CPU समय के 25254s में, 21585s [vmlinux] में बिताए जाते हैं।

क्या कोई यहां क्या हो रहा है पर कुछ प्रकाश डाल सकता है और मुझे इतना बुरा प्रदर्शन क्यों मिल रहा है? मैं OMP_NUM_THREADS के लिए डिफ़ॉल्ट का उपयोग कर रहा हूं और KMP_AFFINITY = कॉम्पैक्ट, ग्रैन्युलरिटी = ठीक (इंटेल द्वारा अनुशंसित) सेट करें। मैं एमकेएल और ओपनएमपी के लिए नया हूं, इसलिए मुझे यकीन है कि मैं रूकी गलतियों को कर रहा हूं।

धन्यवाद, एंड्रयू

Answer 1

इस व्यवहार, यह देखते हुए कि ज्यादातर समय ओएस (vmlinux) में खर्च किया जाता है के लिए सबसे संभावित कारण यह है ओवर-सब्सक्रिप्शन cblas_dgemm() और dgesv की MKL कार्यान्वयन के अंदर नेस्टेड OpenMP समानांतर क्षेत्र की वजह से । जैसे this example देखें।

यह संस्करण जिम डेम्पसी द्वारा Intel forum पर समर्थित और समझाया गया है।

Answer 2

एमकेएल का उपयोग करने के बारे में क्या: अनुक्रमिक पुस्तकालय? यदि आप अनुक्रमिक विकल्प के साथ एमकेएल लाइब्रेरी को लिंक करते हैं, तो यह एमकेएल के अंदर ओपनएमपी धागे उत्पन्न नहीं करता है। मुझे लगता है कि आप अब से बेहतर परिणाम प्राप्त कर सकते हैं।