सिगमोइड फ़ंक्शन न्यूरल नेट्स में क्यों काम करते हैं?

Question

मैंने अभी तंत्रिका नेटवर्क के लिए प्रोग्रामिंग शुरू कर दी है। मैं वर्तमान में यह समझने पर काम कर रहा हूं कि बैकप्रोपोगेशन (बीपी) तंत्रिका नेट कैसे काम करता है। जबकि बीपी जाल में प्रशिक्षण के लिए एल्गोरिदम काफी सरल है, मैं एल्गोरिदम क्यों काम करता है इस पर कोई पाठ नहीं ढूंढ पाया। अधिक विशेष रूप से, मैं तंत्रिका जाल में सिग्मोइड कार्यों का उपयोग करके औचित्य साबित करने के लिए कुछ गणितीय तर्क की तलाश में हूं, और उन्हें उन पर लगभग किसी भी डेटा वितरण की नकल करने की नकल करता है।

धन्यवाद!

Answer 1

सिग्मोइड फ़ंक्शन नेटवर्क में गैर-रैखिकता प्रस्तुत करता है। एक गैर रेखीय सक्रियण समारोह के बिना, नेट केवल उन कार्यों को सीख सकता है जो इसके इनपुट के रैखिक संयोजन हैं। 1 9 8 9 में इसे साबित करने वाले सज्जन के बाद परिणाम universal approximation theorem या Cybenko theorem कहा जाता है। Wikipedia शुरू करने के लिए एक अच्छी जगह है, और इसका मूल पत्र (सबूत कुछ हद तक शामिल है) के लिए एक लिंक है। किसी अन्य चीज के विपरीत आप सिग्मोइड का उपयोग क्यों करेंगे यह है कि यह निरंतर और अलग-अलग है, इसकी व्युत्पन्न गणना करने के लिए बहुत तेज है (तन के व्युत्पन्न के विपरीत, जिसमें समान गुण हैं) और इसकी सीमित सीमा है (0 से 1 तक, विशेष)