6
मैंने अक्सर पढ़ा है कि आंतरिक स्थिति की कमी और इसलिए फ़ीड-फ़ॉरवर्ड नेटवर्क में अल्पकालिक स्मृति के कारण फ़ीड-फॉरवर्ड और आवर्ती तंत्रिका नेटवर्क (आरएनएन) के बीच मौलिक अंतर हैं। यह पहली नजर में मेरे लिए व्यवहार्य लग रहा था।फीड-फॉरवर्ड तंत्रिका नेटवर्क और पुनरावर्ती तंत्रिका नेटवर्क के बीच मौलिक अंतर?
हालांकि Backpropagation through time एल्गोरिदम आवर्ती नेटवर्क के साथ एक पुनरावर्ती तंत्रिका नेटवर्क सीखने के दौरान, यदि मैं सही ढंग से समझता हूं, तो समकक्ष फ़ीड अग्रेषित नेटवर्क में परिवर्तित हो जाते हैं।
इसका मतलब यह होगा कि वास्तव में कोई मौलिक अंतर नहीं है। गहरी फ़ीड अग्रेषित नेटवर्क की तुलना में आरएनएन कुछ कार्यों (छवि पहचान, समय-श्रृंखला भविष्यवाणी, ...) में बेहतर प्रदर्शन क्यों करते हैं?
अंतर मूल रूप से है कि आपको किसी बिंदु पर फ़ीड-फॉरवर्ड अनुमान को गहराई या अनलॉक करना बंद करना है, क्या मुझे यह सही तरीके से मिला? यह एक सैद्धांतिक अंतर हो सकता है, लेकिन व्यवहार में भी आरएनएन के सिमुलेशन को किसी बिंदु पर रोकना होगा, जो उस बिंदु पर अनियंत्रण को रोकने के समान ही है, है ना? मुझे अभी भी कोई व्यावहारिक अंतर नहीं दिख रहा है। – kyra
अच्छी तरह से, आप यहां गलत हैं। अभ्यास में, सिमुलेशन मनमाने ढंग से लंबा हो सकता है। आवर्ती तंत्रिका नेटवर्क ** अनुक्रमिक ** डेटा के लिए उपयोग किया जाता है। आप "के पुनरावृत्तियों के लिए नेटवर्क चलाते हैं और आउटपुट पढ़ते हैं"। अनुक्रम में प्रत्येक इनपुट डेटा के लिए आप इसे एक बार चलाते हैं, और अनुक्रम मनमाने ढंग से लंबा हो सकता है, आपके पास मनमाने ढंग से लंबी स्मृति है, जो सीखने की प्रक्रिया के लिए सच नहीं है। – lejlot
आप इसे मनमाने ढंग से लंबे अंतराल के लिए अनुकरण कर सकते हैं, लेकिन इसे अभी भी सीमित होना है। मैं इस मनमानी गहराई को क्यों अनलॉक नहीं कर सकता? – kyra