मैं समझता हूं कि ग्रेडियेंट वंश क्या करता है। असल में यह धीरे-धीरे वक्र को घुमाने के द्वारा स्थानीय इष्टतम समाधान की ओर बढ़ने की कोशिश करता है। मैं समझने की कोशिश कर रहा हूं कि योजना ढाल वंश और न्यूटन की विधि के बीच वास्तविक अंतर क्या है?ग्रेडियेंट डेसेंट और न्यूटन के ग्रेडियेंट वंश के बीच क्या अंतर है?
विकिपीडिया से, मैंने इस छोटी सी रेखा को पढ़ा "न्यूटन की विधि अधिक प्रत्यक्ष मार्ग लेने के लिए वक्रता जानकारी का उपयोग करती है।" इसका सहज अर्थ क्या है?
स्थानीय न्यूनतम (या अधिकतम) x पर, लक्ष्य फ़ंक्शन f का व्युत्पन्न गायब हो जाता है: f'(x) = 0 (की पर्याप्त चिकनीता मानते हुए)।
ग्रेडियेंट वंश f के पहले व्युत्पन्न से जानकारी का उपयोग करके इस तरह के न्यूनतम x को खोजने का प्रयास करता है: यह वर्तमान बिंदु से सबसे तेज मूल का पालन करता है। यह f के ग्राफ़ को एक गेंद को रोल करने जैसा है जब तक कि यह आराम न हो (जब जड़ता को उपेक्षा करते हैं)।
न्यूटन की विधि (इस न्यूटन के जड़ खोजने विधि कहा जाता है) एक बिंदु x रैखिक कार्य g साथ f' का अनुमान करने और फिर उस समारोह पर स्पष्ट रूप की जड़ के लिए हल करके f'(x) = 0 संतोषजनक खोजने की कोशिश करता। g की जड़ आवश्यक नहीं है f' की जड़, लेकिन यह कई परिस्थितियों में एक अच्छा अनुमान है (Wikipedia article on Newton's method for root finding अभिसरण मानदंडों पर अधिक जानकारी है)। f' का अनुमान लगाने के दौरान, न्यूटन की विधि f'' (f का वक्रता) का उपयोग करती है। इसका मतलब है कि f की चिकनीता पर इसकी उच्च आवश्यकताएं हैं, लेकिन इसका मतलब यह भी है कि (अधिक जानकारी का उपयोग करके) यह अक्सर तेज़ी से एकत्र होता है।
मुझे हमेशा 'सबसे तेज चुनने का उल्लेख दिखाई देता है वंश '। इसका क्या मतलब है? क्या यह 'एफ' (x) 'की सबसे नकारात्मक संख्या है? –
@Chowza: यदि आपका डोमेन बहु-आयामी है, उदा। यदि वास्तविक संख्याओं के लिए 'एफ' मानचित्र 2 डी अंक हैं, तो किसी भी बिंदु पर 'f' का ढाल एक स्केलर संख्या नहीं बल्कि एक वेक्टर है। इसका कारण यह है कि उस बिंदु पर 'एफ' की "स्थिरता" उस दिशा पर निर्भर करती है जो आप देख रहे हैं। यह पहाड़ की चोटी पर खड़े होने जैसा है: यदि आप उत्तर देखते हैं तो पहाड़ बहुत तेज हो सकता है, लेकिन दूसरे के लिए पक्षों में यह कम खड़ा हो सकता है। सबसे तेज वंश का चयन करना मतलब है कि उस दिशा को चुनना जो आपके लक्षित कार्य में सबसे बड़ा परिवर्तन का कारण बनता है। –
संपादित करें 2017: मूल लिंक मर चुका है - लेकिन जिस तरह से वापस मशीन अभी भी यह :) मिला https://web.archive.org/web/20151122203025/http://www.cs.colostate.edu/~anderson/cs545/Lectures/week6day2/week6day2.pdf
इस पावर प्वाइंट मुख्य विचारों बस समझाया गया है http://www.cs.colostate.edu/~anderson/cs545/Lectures/week6day2/week6day2.pdf
मैं इस मदद आशा:)
बस रखो, ढाल के वंशज आप शून्य के बारे में सोचने के लिए बस एक छोटा कदम उठाते हैं और फिर पुन: गणना करते हैं; न्यूटन की विधि, आप वहां सभी तरह से जाते हैं।
गैर-वर्गिक कार्य के लिए "सभी तरह" सच है? – bers
हां, गैर-वर्गिक कार्यों के लिए आप बस एक पंक्ति के साथ पहले व्युत्पन्न का अनुमान लगा रहे हैं। यह थोड़ा हाथ लहर है लेकिन मुझे लगता है कि यह अंतर्ज्ञान के लिए ठीक है। – dashnick
ठीक है, मैं सहमत हूं। "जहां * आपको लगता है * शून्य है" के सभी तरीके निस्संदेह सही है। – bers
वक्रता से संबंधित है कि न्यूटन की विधि कैसे फक्शन के दूसरे क्रम व्युत्पन्न का उपयोग करती है। ग्रेडियेंट वंश आमतौर पर पहला आदेश होता है। – akk
इस व्याख्यान को शुरू से लेकर खत्म करने के लिए देखें: https://www.youtube.com/watch?v=sTCtkkqrY8A&index=15&list=PL3940DD956CDF0622 –