क्या पूर्वाग्रह नोड बहुत बड़े तंत्रिका नेटवर्क में आवश्यक है?

Question

मैं तंत्रिका जाल में पूर्वाग्रह नोड की भूमिका को समझता हूं, और छोटे नेटवर्क में सक्रियण फ़ंक्शन को स्थानांतरित करने के लिए क्यों महत्वपूर्ण है। मेरा सवाल यह है: क्या बहुत बड़े नेटवर्क में पूर्वाग्रह अभी भी महत्वपूर्ण है (अधिक विशेष रूप से, रेलू सक्रियण समारोह, 3 संकल्पक परतों, 2 छिपी हुई परतों, और 100,000 से अधिक कनेक्शन का उपयोग करके छवि पहचान के लिए एक संक्रामक तंत्रिका नेटवर्क), या इसका प्रभाव मिलता है सक्रियण की तीव्र संख्या से खो गया?

कारण मैं पूछता हूं क्योंकि अतीत में मैंने नेटवर्क बनाया है जिसमें मैं पूर्वाग्रह नोड को लागू करना भूल गया हूं, हालांकि किसी को जोड़ने पर प्रदर्शन में नगण्य अंतर देखा गया है। क्या यह मौका कम हो सकता है, जिसमें निर्दिष्ट डेटा सेट को पूर्वाग्रह की आवश्यकता नहीं है? क्या मुझे बड़े नेटवर्क में बड़े मूल्य के साथ पूर्वाग्रह शुरू करने की आवश्यकता है? किसी भी अन्य सलाह की सराहना की जाएगी।

Answer 1

पूर्वाग्रह नोड/शब्द केवल यह सुनिश्चित करने के लिए है कि अनुमानित आउटपुट निष्पक्ष होगा। यदि आपके इनपुट में गतिशील (रेंज) है जो -1 से +1 तक जाती है और आपका आउटपुट केवल +3 द्वारा इनपुट का अनुवाद होता है, तो एक पूर्वाग्रह शब्द के साथ एक तंत्रिका नेट में केवल शून्य शून्य के साथ पूर्वाग्रह न्यूरॉन होगा जबकि अन्य शून्य होंगे। यदि आपके पास उस स्थिति में पूर्वाग्रह न्यूरॉन नहीं है, तो सभी सक्रियण कार्यों और वजन को अनुकूलित किया जाएगा ताकि सिग्मोइड्स/टैंगेंट और गुणा का उपयोग करके सबसे सरल संयोजन में नकल किया जा सके।

यदि आपके इनपुट और आउटपुट दोनों में समान श्रेणी है, तो -1 से +1 तक कहें, तो पूर्वाग्रह शब्द शायद उपयोगी नहीं होगा।

आप जिस प्रयोग का उल्लेख करते हैं उसमें आप पूर्वाग्रह नोड के वजन को देख सकते हैं। या तो यह बहुत कम है, और इसका मतलब है कि इनपुट और आउटपुट पहले ही केंद्रित हैं। या यह महत्वपूर्ण है, और मैं शर्त लगाता हूं कि अन्य वजनों का भिन्नता कम हो जाता है, जिससे तंत्रिका जाल अधिक स्थिर (और अतिप्रवाह करने के लिए कम प्रवण) होता है।

Answer 2

बायस प्रत्येक परत के इनपुट के लिए स्थिर 1 जोड़ने के बराबर है। फिर उस स्थिरता का वजन आपके पूर्वाग्रह के बराबर है। जोड़ना वाकई आसान है।

सैद्धांतिक रूप से यह आवश्यक नहीं है क्योंकि नेटवर्क प्रत्येक परत पर अपना स्वयं का पूर्वाग्रह नोड बनाने के लिए "सीख" सकता है। न्यूरॉन्स में से एक इसका वजन बहुत अधिक सेट कर सकता है, इसलिए यह हमेशा 1, या 0 पर होता है, इसलिए यह हमेशा स्थिर 0.5 (सिग्मोइड इकाइयों के लिए) आउटपुट करता है। इसके लिए कम से कम 2 परतों की आवश्यकता होती है।

Answer 3

क्यों तंत्रिका नेटवर्क में आवश्यक पूर्वाग्रह:

एक तंत्रिका नेटवर्क में पूर्वाग्रह नोड एक नोड हमेशा पर है। यही है, इसके मान को किसी दिए गए पैटर्न में डेटा के संबंध में पर सेट किया गया है। यह एक रिग्रेशन मॉडल में अवरोध के समान है, और एक ही समारोह में कार्य करता है।

एक तंत्रिका नेटवर्क एक दिया परत में एक पूर्वाग्रह नोड नहीं है, तो यह अगले परत में उत्पादन निर्माण करने के लिए है कि से अलग है जब सुविधा मूल्यों में सक्षम नहीं होगा

Thats हमें तंत्रिका नेटवर्क में पूर्वाग्रह मूल्य की आवश्यकता क्यों है।