हार्ड सिग्मोइड कैसे परिभाषित किया गया है

Question

मैं कैर का उपयोग करके डीप नेट पर काम कर रहा हूं। एक सक्रियण "हार्ड सिग्मोइड" है। इसकी गणितीय परिभाषा क्या है?

मुझे पता है कि सिग्मोइड क्या है। किसी ने क्वारा पर समान प्रश्न पूछा: https://www.quora.com/What-is-hard-sigmoid-in-artificial-neural-networks-Why-is-it-faster-than-standard-sigmoid-Are-there-any-disadvantages-over-the-standard-sigmoid

लेकिन मुझे कहीं भी सटीक गणितीय परिभाषा नहीं मिली?

Answer 1

यह

max(0, min(1, (x + 1)/2)) 

Answer 2

चूंकि केरास टेन्सफोर्लो और थेनो दोनों का समर्थन करता है, इसलिए प्रत्येक बैकएंड के लिए सटीक कार्यान्वयन अलग-अलग हो सकता है - मैं केवल थानो को कवर करूंगा। के लिए थेनो बैकएंड Keras T.nnet.hard_sigmoid है, जो बारी linearly approximated standard sigmoid में है का उपयोग करता है:

slope = tensor.constant(0.2, dtype=out_dtype) 
shift = tensor.constant(0.5, dtype=out_dtype) 
x = (x * slope) + shift 
x = tensor.clip(x, 0, 1) 

यानी यह अधिकतम (0, न्यूनतम (1, x * 0,2 + 0,5))

Answer 3

संदर्भ के लिए, hard sigmoid function परिभाषित किया जा सकता है विभिन्न स्थानों में अलग-अलग। Courbariaux एट अल में। 2016 [1] के रूप में परिभाषित किया गया: σ (x) = क्लिप ((x + 1)/2, 0, 1) = अधिकतम (0, मिनट (:

σ "हार्ड अवग्रह" समारोह है 1, (एक्स + 1)/2))

आशय (इसलिए यह बाधित तंत्रिका नेटवर्क मानकों के stochastic binarization में उपयोग (जैसे वजन, सक्रियण के लिए 0 और 1) के बीच होने का एक संभावना मूल्य प्रदान करना है , ढाल)। 1-p संभावना 1-p के साथ p संभाव्यता, या -1 के साथ पैरामीटर x से +1 पर सेट करने के लिए हार्ड सिग्मोइड फ़ंक्शन से वापस आने की संभावना p = σ(x) का उपयोग करें।

[1] https://arxiv.org/abs/1602.02830 - "binarized तंत्रिका नेटवर्क: बाट के साथ प्रशिक्षण दीप तंत्रिका नेटवर्क और सक्रियण कंस्ट्रेन्ड +1 करने के लिए या -1", माथीउ Courbariaux, इटाय Hubara, डैनियल Soudry, अल यानिव, योशुआ बेंगियो, (प्रस्तुत Ran पर 9 फ़र, वर्ष 2016 (v1), पिछले संशोधित 17 मार्च 2016 (इस संस्करण, v3))