11

के लिए प्रशिक्षण फीडफोर्ड न्यूरल नेटवर्क वर्तमान में तंत्रिका नेटवर्क के बारे में सीख रहा हूं और मैं ऐसे एप्लिकेशन को बनाने की कोशिश कर रहा हूं जिसे हस्तलिखित पात्रों को पहचानने के लिए प्रशिक्षित किया जा सके। इस समस्या के लिए मैं एक फीडफोर्ड न्यूरल नेटवर्क का उपयोग करता हूं और ऐसा लगता है कि जब मैं इसे 1, 2 या 3 अलग-अलग वर्णों को पहचानने के लिए प्रशिक्षित करता हूं तो ऐसा लगता है। लेकिन जब मैं नेटवर्क को 3 से अधिक वर्णों को सीखने की कोशिश करता हूं तो यह 40 - 60% के आसपास एक त्रुटि प्रतिशत पर स्थिर हो जाएगा।ओसीआर

मैंने कई परतों, कम/अधिक मात्रा में न्यूरॉन्स की कोशिश की लेकिन मुझे यह सही नहीं लग रहा है, अब मैं सोच रहा हूं कि एक फीडफोर्ड न्यूरल नेटवर्क उस जानकारी को पहचानने में सक्षम है या नहीं।

कुछ आँकड़े:

नेटवर्क प्रकार: feedforward तंत्रिका नेटवर्क।

इनपुट न्यूरॉन्स: 100 (एक 10 * 10) ग्रिड पात्रों

उत्पादन न्यूरॉन्स आकर्षित करने के लिए प्रयोग किया जाता है: वर्ण की राशि regocnize को

किसी को पता संभव दोष क्या है मेरे वास्तुकला में है? क्या बहुत अधिक इनपुट न्यूरॉन्स हैं? फीडफोर्ड न्यूरल नेटवर्क चरित्र पुनर्वितरण में सक्षम नहीं है?

अग्रिम धन्यवाद।

+1

आप कितने छुपे हुए न्यूरॉन्स का उपयोग कर रहे हैं? – mbatchkarov

+0

आपके काम के लिए इनपुट और आउटपुट न्यूरॉन्स ठीक लगते हैं लेकिन आप अपने नेटवर्क को कैसे प्रशिक्षित करते हैं, आप किस एल्गोरिदम का उपयोग करते हैं? आप वजन कैसे शुरू करते हैं? – maximdim

+0

मैंने बैकपॉपैगेशन और आनुवंशिक एल्गोरिदम का उपयोग करने की कोशिश की। मैंने इसे 70 न्यूरॉन्स की एक छिपी हुई परत के साथ और एक बार 2 छिपी हुई परतों (70 और 40) न्यूरॉन्स के साथ कोशिश की। –

उत्तर

12

हस्तलिखित वर्ण पहचान के लिए आप की जरूरत

  1. कई प्रशिक्षण उदाहरण
  2. उत्पादन परत में softmax सक्रियण समारोह (हो सकता है आप अपने प्रशिक्षण सेट की विकृतियों बनाने चाहिए)
  3. पार एन्ट्रापी त्रुटि फ़ंक्शन
  4. के साथ प्रशिक्षण stochastic ढाल descent
  5. प्रत्येक परत
  6. में पूर्वाग्रह

एक अच्छी परीक्षा समस्या हस्तलिखित अंक डेटा सेट MNIST है। यहाँ कागजात कि सफलतापूर्वक इस डेटा सेट पर तंत्रिका नेटवर्क आवेदन किया हैं:

वाई LeCun, एल Bottou, वाई Bengio और पी Haffner: ढाल आधारित लर्निंग एप्लाइड दस्तावेज़ मान्यता के लिए, http://yann.lecun.com/exdb/publis/pdf/lecun-98.pdf

दान Claudiu Ciresan , Ueli मायर, लुका मारिया गैम्बार्डेला, जुएर्गेन Schmidhuber: गहरी बिग सरल तंत्रिका जाल एक्सेल हस्तलिखित डिजिट पहचान पर, http://arxiv.org/abs/1003.0358

मैं एक MLP 784-200-50-10 वास्तुकला के साथ प्रशिक्षित और> परीक्षण सेट पर 96% सटीकता मिला ।

10

शायद आप http://www.ml-class.org पर लेक्चर 3 और 4 का पालन करना चाहते हैं। प्रोफेसर एनजी ने इस सटीक समस्या को हल किया है। वह 10 अंकों (0 ... 9) वर्गीकृत कर रहा है।चीजें हैं जो वह वर्ग है कि उसे एक 95% प्रशिक्षण सटीकता के लिए हो जाता है में किया था से कुछ हैं:

  • इनपुट Nueron: 400 (20x20)
    • हिडन परतें: 2
    • छिपा परतों के आकार: 25
    • सक्रियण समारोह: अवग्रह
    • प्रशिक्षण विधि: ढाल वंश
    • डाटा का आकार: 5000
+0

-1। – jpjacobs

+0

मृत लिंक के लिए खेद है .. सही लिंक http://www.ml-class.org है। स्टैनफोर्ड द्वारा कक्षा की पेशकश की गई थी। – nitin

+1

तदनुसार उपरोक्त;) – jpjacobs

1

साथ मैं कुछ समय पहले एक ऐसी ही समस्या थी MNIST डेटासेट का उपयोग करके हस्तलिखित अंक की पहचान करने की कोशिश कर। मेरा फीडफोर्ड न्यूरल नेट प्रमाणीकरण सेट पर लगभग 92% की शुद्धता दे रहा था लेकिन अक्सर मैंने जो छवियां दीं, उसे गलत वर्गीकृत कर रही थी।

मैंने अपने नेट में एक छिपी परत जोड़कर और आरएमएसपीआरपी का उपयोग करके इस समस्या को ठीक किया। नेट अब लगभग 97% सटीकता देता है और जो छवियां मैं इसे देता हूं उसे सही ढंग से वर्गीकृत करता है।

इसके अलावा, यदि आपकी लागत कम नहीं हो रही है, तो शायद इसका मतलब है कि आपकी एनजी दर बहुत अधिक है या आपका नेट शायद स्थानीय मिनीमा में फंस गया है। ऐसी स्थिति में, आप अपनी सीखने की दर और प्रारंभिक वजन घटाने का प्रयास कर सकते हैं।

संबंधित मुद्दे