मैं हस्तलिखित अंकों को वर्गीकृत करने के लिए केएनएन का उपयोग कर रहा हूं। मैंने अब आयाम को कम करने के लिए पीसीए लागू किया है। 256 से मैं 200 पर गया। लेकिन मुझे केवल सूचना की हानि ~ 0.10% की सूचना मिली है। मैंने 56 आयाम हटा दिया। नुकसान बड़ा नहीं होना चाहिए? केवल जब मैं 5 आयामों तक जाता हूं तो मुझे ~ 20% नुकसान मिलता है। क्या यह सामान्य है?पीसीए और केएनएन एल्गोरिदम
आप कह रहे हैं कि 56 आयामों को हटाने के बाद, आपने लगभग कोई जानकारी खो दी है? बेशक, यह पीसीए का मुद्दा है! Principal Component Analysis, नाम राज्यों के रूप में, यह निर्धारित करने में आपकी सहायता करता है कि कौन से आयाम जानकारी लेते हैं। और आप बाकी को हटा सकते हैं, जो इसका सबसे बड़ा हिस्सा बनाता है।
मुझे कुछ उदाहरण चाहिए, जीन विश्लेषण में, मैंने कागजात पढ़े हैं जहां आयाम पीसीए के साथ 40'000 से 100 तक कम हो गया है, फिर वे कुछ जादुई सामान करते हैं, और 1 9 आयामों के साथ एक उत्कृष्ट वर्गीकृत है। यह आपको स्पष्ट रूप से बताता है कि उन्होंने 39'900 आयामों को हटाते समय लगभग कोई जानकारी खो दी!
ठीक है धन्यवाद। मैं मशीन सीखने के लिए नया नया –
यह सामान्य है, हाँ (और Fezvez की तरह आपने जो किया उसके बिंदु को कहा)। आपका मामला वास्तव में एक अच्छा उदाहरण है जहां आप देख सकते हैं कि यह कैसे संभव है।
अपने डेटा पर एक नज़र डालें (यह मशीन सीखने में हमेशा महत्वपूर्ण है, अपना डेटा पता है)। यदि आपके पास सफेद रंग के काले हाथों की छवियां सफेद हैं, तो एक उच्च संभावना है कि कुछ कोनों में पिक्सल सभी नमूनों के लिए सफेद होते हैं (मेरे पास एक कोने में था जब मैंने हाथ से लिखे अंकों पर मशीन सीखना था)। तो वास्तव में उस पिक्सेल में कोई भी जानकारी नहीं है। यदि आप इसे अपने केएनएन या एएनएन या जो कुछ भी इनपुट के रूप में छोड़ते हैं, तो आपके पास एक ही परिणाम होंगे।
इस तरह की चीज कई प्रकार के अनुप्रयोगों में आम है। इसे कम रिटर्न के बिंदु कहा जाता है। –