मैं this tutorial द्वारा निर्धारित मल्टीलाबेल वर्गीकरण समस्या के लिए सिग्मोइड क्रॉस एन्ट्रॉपी लॉस फ़ंक्शन का उपयोग कर रहा हूं। हालांकि, ट्यूटोरियल और मेरे परिणामों पर उनके दोनों परिणामों में, आउटपुट पूर्वानुमान (-Inf, Inf) की सीमा में हैं, जबकि सिग्मोइड की सीमा [0, 1] है। सिग्मोइड केवल बैकप्रॉप में संसाधित है? यही है, आउटपुट पास आउटपुट स्क्वैश नहीं होना चाहिए?कैफे सिग्मोइड क्रॉस एंट्रॉपी लॉस
इस उदाहरण में "SigmoidCrossEntropyLoss" परत में इनपुट पूरी तरह से कनेक्ट परत का आउटपुट है। दरअसल "InnerProduct" परत के आउटपुट के मूल्यों पर कोई बाधा नहीं है और वे [-inf, inf] श्रेणी में हो सकते हैं।
हालांकि, यदि आप सावधानीपूर्वक ग्रेडियेंट अनुमान सुनिश्चित करने के लिए "SigmoidCrossEntropyLoss" ध्यान से जांचते हैं तो आपको ध्यान मिलेगा कि इसमें "Sigmoid" layer inside शामिल है।
इसलिए, परीक्षण समय पर, आपको "SigmoidCrossEntropyLoss" को प्रति-वर्ग भविष्यवाणियों के आउटपुट के लिए एक सरल "Sigmoid" परत के साथ प्रतिस्थापित करना चाहिए।
धन्यवाद @Shai। आप इन कैफे उत्तरों के साथ क्लच कर रहे हैं – marcman