रिवर्स स्वचालित भेदभाव के रूप में बैकप्रोपैगेशन समान (या नहीं) कैसे है?

Question

Wikipedia page for backpropagation इस दावे होते हैं:

एक ढाल की गणना के लिए backpropagation एल्गोरिथ्म किया गया है कई बार फिर से खोज, और रिवर्स संचय मोड में स्वचालित भेदभाव नामक एक अधिक सामान्य तकनीक की एक विशेष मामला है ।

क्या कोई इस पर विस्तार कर सकता है, इसे आम आदमी के शब्दों में डाल सकता है? समारोह को अलग किया जा रहा है? "विशेष मामला" क्या है? क्या यह स्वयं के आसन्न मूल्य हैं जिनका उपयोग किया जाता है या अंतिम ढाल?

Answer 1

तंत्रिका नेटवर्क प्रशिक्षण में, हम वजन w का एक सेट खोजना चाहते हैं जो E(N(w,x)-y) त्रुटि को कम करता है। (x प्रशिक्षण इनपुट है, y प्रशिक्षण आउटपुट है, N नेटवर्क है और E कुछ त्रुटि फ़ंक्शन है)।

इस तरह के अनुकूलन करने का मानक तरीका, ग्रेडियेंट वंश है, जो नेटवर्क के व्युत्पन्न का उपयोग करता है, N' कहता है। हम नेटवर्क को मैट्रिक्स उत्पाद के रूप में प्रस्तुत कर सकते हैं और मैन्युअल रूप से मैट्रिक्स कैलकुलेशन के साथ ऐसा कर सकते हैं, लेकिन हम (स्वचालित) एल्गोरिदम भी लिख सकते हैं।

बैकप्रोपैगेशन एक विशेष ऐसा एल्गोरिदम है, जिसमें कुछ फायदे हैं। उदाहरण के लिए, वजन घटाने वाले वंश के लिए जरूरी वजन के एक चयनित नमूने के संबंध में व्युत्पन्न लेना आसान बनाता है। यह भी निर्दिष्ट करता है कि फ़ीड-फ़ॉरवर्ड (वास्तविक नेटवर्क मान) कैसे सहेजे जाते हैं ताकि वे आवश्यक डेरिवेटिव की गणना के लिए आसानी से पहुंच सकें।

आपको पाठ्य पुस्तकों के साथ-साथ ऑनलाइन में विशिष्ट एल्गोरिदम के लिए सटीक कोड ढूंढने में सक्षम होना चाहिए।