मैं केरास में बैच सामान्यीकरण के साथ खेल रहा हूं। मैं सोच रहा था कि बैच सामान्यीकरण तंत्रिका नेटवर्क में इनपुट को सामान्य करता है। क्या इसका मतलब है कि मुझे अपने नेटवर्क में अपने इनपुट को मानकीकृत करने की आवश्यकता नहीं है और इसे करने के लिए बीएन पर भरोसा है?क्या आप बैच सामान्यीकरण का उपयोग कर रहे हैं तो इनपुट को मानकीकृत करने की आवश्यकता है?
जबकि आप निश्चित रूप से इसका उपयोग कर सकते हैं, यह ऐसा करने के लिए डिज़ाइन नहीं किया गया है और सीमित नमूना आकार (नमूना आकार आपके बैच आकार) के कारण आप सामान्यीकरण में नमूना त्रुटि शुरू कर सकते हैं।
इसके लिए एक और कारक है कि मैं बैच सामान्यीकरण का उपयोग करने की अनुशंसा नहीं करता हूं कि यह सुधार शर्तों गामा और बीटा (प्रशिक्षित पैरामीटर) पेश करता है जो अक्षम होने पर आपके प्रशिक्षण डेटा को छोड़ देंगे।
अपने परीक्षण डेटा के सामान्यीकरण के लिए मैं पूर्ण प्रशिक्षण सेट पर ज़ेड-स्कोर सामान्यीकरण का उपयोग करने की सिफारिश करता हूं या कुछ उचित लेकिन बैच सामान्यीकरण नहीं करता।
तो, क्या आप कह रहे हैं कि यदि मैं बैचनोर्मलाइजेशन (गति = 1 और ईपीएसलॉन = 0 को छोड़कर) में पहले मानक के रूप में सभी मानक मानकों का उपयोग करता हूं, तो यह अनिवार्य रूप से जेड-स्कोर सामान्यीकरण के बराबर है? –
हां लेकिन औसत और भिन्नता का अनुमान लगाने के लिए एक छोटे नमूने के साथ (यानी आपके बैच आकार)। – nemo