फ़्लोटिंग-पॉइंट ऑप्टिमाइज़ेशन - दिशानिर्देश

Question

सी/सी ++ में किसी विशेष एल्गोरिदम को लागू करने के लिए हमें आवश्यक वैज्ञानिक कंप्यूटिंग समस्याओं का बहुमत सटीकता की मांग करता है जो डबल परिशुद्धता से बहुत कम है। उदाहरण के लिए, 1e-6, 1e-7 सटीकता ODE सॉल्वर या संख्यात्मक एकीकरण के मामलों में 99% शामिल है। यहां तक ​​कि दुर्लभ मामलों में जब हमें उच्च सटीकता की आवश्यकता होती है, आमतौर पर संख्यात्मक विधि स्वयं विफल होने से पहले विफल होती है जो कि हम दोहरी परिशुद्धता के निकट सटीकता तक पहुंचने का सपना देख सकते हैं। उदाहरण: राउंडऑफ त्रुटियों के कारण मानक नॉस्टिफ सामान्य अंतर समीकरण को हल करते समय भी हम एक सरल रेज-कुट्टा विधि से 1e-16 सटीकता की अपेक्षा नहीं कर सकते हैं। इस मामले में, डबल परिशुद्धता आवश्यकता गलत जवाब के बेहतर अनुमान लगाने के लिए पूछने के समान है।

फिर, आक्रामक फ्लोट प्वाइंट ऑप्टिमाइज़ेशन ज्यादातर मामलों में जीत-जीत की स्थिति प्रतीत होता है क्योंकि यह आपके कोड को तेज़ बनाता है (बहुत तेज!) और इससे आपकी विशेष समस्या की लक्ष्य सटीकता प्रभावित नहीं होती है। उस ने कहा, यह सुनिश्चित करना मुश्किल है कि एफपी अनुकूलन के खिलाफ एक विशेष कार्यान्वयन/कोड स्थिर है। शास्त्रीय (और कुछ हद तक परेशान) उदाहरण: जीएसयू वैज्ञानिक पुस्तकालय जीएसएल न केवल बाजार में मानक संख्यात्मक पुस्तकालय है बल्कि यह एक बहुत अच्छी तरह लिखित पुस्तकालय है (मैं खुद को बेहतर काम करने की कल्पना नहीं कर सकता)। हालांकि, जीएसएल एफपी अनुकूलन के खिलाफ स्थिर नहीं है। वास्तव में, यदि आप इंटेल कंपाइलर के साथ जीएसएल संकलित करते हैं, उदाहरण के लिए, तो इसके आंतरिक परीक्षण तब तक असफल हो जाएंगे जब तक आप -fp-model strict ध्वज चालू नहीं करते हैं जो fp अनुकूलन को बंद करता है।

इस प्रकार, मेरा प्रश्न है: क्या कोड लिखने के लिए सामान्य दिशानिर्देश हैं जो आक्रामक फ़्लोटिंग पॉइंट अनुकूलन के खिलाफ स्थिर हैं। क्या ये दिशा-निर्देश भाषा (कंपाइलर) विशिष्ट हैं। यदि हां, तो सी/सी ++ (जीसीसी/आईसीसी) सर्वोत्तम प्रथाएं क्या हैं?

नोट 1: यह प्रश्न यह नहीं पूछ रहा है कि जीसीसी/आईसीसी में एफपी अनुकूलन झंडे क्या हैं।

नोट 2: यह प्रश्न सी/सी ++ अनुकूलन के लिए सामान्य दिशानिर्देशों के बारे में नहीं पूछ रहा है (जैसे छोटे कार्यों के लिए वर्चुअल फ़ंक्शंस का उपयोग न करें)।

नोट 3: यह प्रश्न अधिकांश मानक एफपी अनुकूलन (जैसे x/x -> 1) की सूची नहीं पूछ रहा है।

नोट 4: मुझे दृढ़ विश्वास है कि यह शास्त्रीय "सबसे अच्छे सर्वर नाम" के समान व्यक्तिपरक/ऑफ-विषय प्रश्न नहीं है। यदि आप असहमत हैं (क्योंकि मैं एक ठोस उदाहरण/कोड/समस्या प्रदान नहीं कर रहा हूं), तो इसे समुदाय विकी के रूप में चिह्नित करें। मुझे कुछ स्थिति बिंदु प्राप्त करने के उत्तर में उत्तर में बहुत दिलचस्पी है (नहीं, वे महत्वपूर्ण नहीं हैं - आपको बिंदु मिल गया है!)।

Answer 1

कंपाइलर निर्माता -ffast-math इस तरह के अनुकूलन को औचित्य देते हैं कि numerically stable algorithms पर इन अनुकूलन का प्रभाव न्यूनतम है।

इसलिए, यदि आप इन अनुकूलन के खिलाफ मजबूत कोड लिखना चाहते हैं, तो पर्याप्त स्थिति केवल संख्यात्मक स्थिर कोड लिखना है।

अब आपका प्रश्न हो सकता है, "मैं संख्यात्मक रूप से स्थिर कोड कैसे लिखूं?"। यह वह जगह है जहां आपका प्रश्न थोड़ा व्यापक हो सकता है: इस विषय को समर्पित पूरी किताबें हैं। विकिपीडिया पेज जो मैंने पहले से लिंक किया है उसका एक अच्छा उदाहरण है, और here एक और अच्छा है। मैं विशेष रूप से एक पुस्तक की सिफारिश नहीं कर सका, यह विशेषज्ञता का मेरा क्षेत्र नहीं है।

नोट 1: संख्यात्मक स्थिरता की वांछनीयता संकलक अनुकूलन से परे है। यदि आपके पास विकल्प है, तो -ffast-math -स्टाइल अनुकूलन का उपयोग करने की योजना नहीं है, भले ही संख्यात्मक रूप से स्थिर कोड लिखें। कड़ाई से आईईईई 754 फ्लोटिंग-पॉइंट सेमेन्टिक्स के साथ संकलित होने पर भी संख्यात्मक रूप से अस्थिर कोड गलत परिणाम प्रदान कर सकता है।

नोट 2: आप जब -ffast-math शैली झंडे के साथ संकलित बाहरी पुस्तकालयों काम करने की उम्मीद नहीं कर सकते। फ्लोटिंग पॉइंट विशेषज्ञों द्वारा लिखे गए इन पुस्तकालयों को आईईईई 754 कम्प्यूटेशंस के गुणों के साथ सूक्ष्म चाल चलाना पड़ सकता है। इस तरह की चाल -ffast-math ऑप्टिमाइज़ेशन द्वारा तोड़ दी जा सकती है, लेकिन यदि आप इसे देने देते हैं तो भी आप संकलक से अपेक्षा कर सकते हैं। फ़्लोटिंग-पॉइंट कंप्यूटेशंस के लिए, डोमेन ज्ञान के साथ विशेषज्ञ हर बार कंपाइलर धड़कता है। उदाहरण के लिए CRlibm में पाया गया ट्रिपल-डबल कार्यान्वयन है। यह कोड तोड़ता है अगर यह सख्त आईईईई 754 अर्थशास्त्र के साथ संकलित नहीं है। एक अन्य, अधिक प्राथमिक एल्गोरिथ्म कि संकलक अनुकूलन तोड़ने Kahan summation है: जब असुरक्षित अनुकूलन के साथ संकलित, c = (t - sum) - yc = 0 लिए अनुकूलित है। यह, ज़ाहिर है, पूरी तरह से एल्गोरिदम के उद्देश्य को हरा देता है।