6

मैं समझता हूँ के रूप में SVM में बड़े अंतर प्रभाव:लॉजिस्टिक रिग्रेशन बड़े मार्जिन वर्गीकृत है?

उदाहरण के लिए चलो इस छवि को देखो:

SVM

SVM अनुकूलन उद्देश्य में नियमितीकरण अवधि द्वारा हम पैरामीटर, जहां का एक सेट खोजने की कोशिश मानदंड (पैरामीटर वेक्टर) थेटा छोटा है। इसलिए हमें वेक्टर थेटा को ढूंढना चाहिए जो कि इस वेक्टर पर बड़े उदाहरण और सकारात्मक उदाहरणों (पी) के अनुमान (आंतरिक उत्पाद के लिए छोटे थेटा वेक्टर को क्षतिपूर्ति करने के लिए) है। उसी समय बड़े पी हमें बड़े मार्जिन देता है। इस छवि में हम इसे (और बड़े अंतर) के साथ आदर्श थीटा, और बड़ी पी पाते हैं:

SVM2

मेरा प्रश्न:

क्यों रसद प्रतिगमन बड़े अंतर वर्गीकारक नहीं है? एलआर में हम थेटा वेक्टर को नियमित रूप से नियमित रूप से अवधि में कम करते हैं। शायद मुझे कुछ समझ में नहीं आया, अगर ऐसा है - मुझे सही करें।

मैंने Coursera एमएल कक्षा से छवियों और सिद्धांत का उपयोग किया है।

उत्तर

1

लॉजिस्टिक रिग्रेशन एक बड़ा मार्जिन नुकसान है। लेकुन ने ऊर्जा आधारित शिक्षा पर अपने एक या अधिक कागजात में इसका उल्लेख किया है।

यह देखने के लिए कि एलआर मार्जिन प्रेरित करता है, सॉफ्टमैक्स हानि (जो एलआर के बराबर है) को देखना आसान है।

softmax नुकसान में दो शब्दों के होते हैं: L(z)=z_{true} - log(\sum_i \exp(z_i))

जिसका अर्थ है अपने असली निर्णय सीमा से एक उदाहरण की दूरी निर्णय सीमाओं के सभी से दूरी की लॉग राशि को हरा करने की आवश्यकता है।

क्योंकि सॉफ्टमैक्स फ़ंक्शन एक संभाव्यता वितरण है, इसलिए लॉग सॉफ्टमैक्स सबसे बड़ा 0 हो सकता है, इसलिए लॉग सॉफ्टमैक्स नकारात्मक मान (यानी एक जुर्माना) देता है जो सॉफ्टमैक्स फ़ंक्शन के तहत सच्ची कक्षा की संभावना के रूप में 0 तक पहुंचता है दृष्टिकोण 1.

संबंधित मुद्दे