कृत्रिम तंत्रिका नेटवर्क के लिए जैकोबियन मैट्रिक्स गणना

Question

हाल ही में मैंने एक कृत्रिम तंत्रिका नेटवर्क (एएनएन) सीखने के लिए लेवेनबर्ग-मार्क्वर्ड एल्गोरिदम को लागू करने के बारे में सोचना शुरू कर दिया। कार्यान्वयन की कुंजी एक जैकोबियन मैट्रिक्स की गणना करना है। मैंने इस विषय का अध्ययन करने में कुछ घंटे बिताए, लेकिन मैं यह समझ नहीं सकता कि इसे बिल्कुल गणना कैसे करें।

कहें कि मेरे पास 3 इनपुट, छिपे हुए परत में 4 न्यूरॉन्स और 2 आउटपुट के साथ एक साधारण फ़ीड-फ़ॉरवर्ड नेटवर्क है। परत पूरी तरह से जुड़े हुए हैं। मेरे पास 5 पंक्तियां लंबी शिक्षा सेट भी हैं।

1. जैकबियन मैट्रिक्स का आकार वास्तव में क्या होना चाहिए?
2. डेरिवेटिव के स्थान पर मुझे वास्तव में क्या रखा जाना चाहिए? (कुछ विवरण के साथ ऊपर-बाईं ओर, और नीचे-दाएं कोने के लिए फार्मूले के उदाहरण अधिक उचित होगा)

यह वास्तव में मदद नहीं करता है:

क्या हैं एफ और x एक तंत्रिका नेटवर्क के संदर्भ में?

Answer 1

मेरे अनुभव एएनएन के साथ काम करने और backpropagation

1. मैट्रिक्स Jacobian से

   तो एक मीटर x n मैट्रिक्स में उन सभी आंशिक डेरिवेटिव का आयोजन करता है, कहाँ मीटर उत्पादन की संख्या है और n इनपुट की संख्या है। तो अपने मामले में यह 2x3 होना चाहिए

2. तो चलो कहते हैं कि 1 और उत्पादन के कश्मीर संख्या (अपने चित्र में एफ) और वहाँ के बीच एक सेट 1 है चलो और मैं इनपुट की संख्या (अपने चित्र में एक्स) इसलिए सूत्र इस

    Fk 
   Jki = ---- 
        xi 
   

खेद है कि मैं कैसे यहाँ में एक सूत्र प्रारूप लिखने के लिए लेकिन मुझे आशा है कि मेरा उत्तर पर्याप्त स्पष्ट है पता नहीं है की तरह होना चाहिए।
यदि आपके उत्तर के बारे में आपके कोई प्रश्न हैं तो कृपया टिप्पणी में पूछें!

Answer 2

जैकबियन एक वेक्टर-मूल्यवान फ़ंक्शन के सभी प्रथम क्रम आंशिक डेरिवेटिव का एक मैट्रिक्स है। तंत्रिका नेटवर्क मामले में, यह एक एन-बाय-डब्ल्यू मैट्रिक्स है, जहां एन हमारे प्रशिक्षण सेट में प्रविष्टियों की संख्या है और डब्ल्यू हमारे नेटवर्क के पैरामीटर (वजन + पूर्वाग्रह) की कुल संख्या है। यह प्रत्येक वजन के संबंध में प्रत्येक उत्पादन का आंशिक डेरिवेटिव लेने के द्वारा बनाया जा सकता है, और रूप है:

एफ (XI, डब्ल्यू) कहां है नेटवर्क समारोह i-वें इनपुट के लिए मूल्यांकन वजन वेक्टर डब्ल्यू और डब्ल्यूजे का उपयोग कर प्रशिक्षण सेट के वेक्टर नेटवर्क के वजन वेक्टर डब्ल्यू का जे-वें तत्व है। परंपरागत लेवेनबर्ग-मार्वार्ड कार्यान्वयन में, जैकोबियन को सीमित मतभेदों का उपयोग करके अनुमानित किया जाता है। हालांकि, तंत्रिका नेटवर्क के लिए, इसे कैलकुस के चेन नियम और सक्रियण कार्यों के पहले डेरिवेटिव का उपयोग करके बहुत कुशलता से गणना की जा सकती है।