मैं ओपनएनएलपी में नामांकित इकाई पहचानकर्ता पहचानकर्ता को कैसे प्रशिक्षित करता हूं?

Question

ठीक है, मैं OpenNLP

FileReader fileReader = new FileReader("train.txt"); 
ObjectStream fileStream = new PlainTextByLineStream(fileReader); 
ObjectStream sampleStream = new NameSampleDataStream(fileStream); 
TokenNameFinderModel model = NameFinderME.train("pt-br", "train", sampleStream, Collections.<String, Object>emptyMap()); 
nfm = new NameFinderME(model); 

मैं अगर मैं कुछ अगर कुछ याद आ रही है की गलत कर रहा हूँ पता नहीं है से एनईआर पहचानकर्ता को प्रशिक्षित करने के लिए निम्न कोड है, लेकिन वर्गीकृत करने से काम नहीं कर रहा है। मुझे लगता है कि train.txt गलत है।

त्रुटि ऐसा होता है कि सभी टोकन केवल एक प्रकार के लिए वर्गीकृत होते हैं।

मेरा train.txt डेटा निम्न उदाहरण जैसा कुछ है, लेकिन बहुत अधिक विविधता और प्रविष्टियों की मात्रा के साथ। एक और बात यह है कि मैं प्रति शब्द एक पाठ से शब्द वर्गीकृत हूं, और सभी टोकन नहीं।

<START:distance> 8000m <END> 
<START:temperature> 100ºC <END> 
<START:weight> 50kg <END> 
<START:name> Renato <END> 

कोई दिखा सकता है कि मैं क्या गलत कर रहा हूं?

Answer 1

आपका प्रशिक्षण डेटा ठीक नहीं है।

आप एक वाक्य के अंदर एक संदर्भ में सभी संस्थाओं रखना चाहिए:

At an altitude of <START:distance> 8000m <END> the temperature of boiling water is less than <START:temperature> 100ºC <END> . 
The climber <START:name> Renato <END> is carrying <START:weight> 50kg <END> of equipment. 

आप अपने प्रशिक्षण डेटा असली दुनिया वाक्य से निकला है, तो बेहतर परिणाम है और वाक्य आपको वर्गीकृत कर रहे हैं की एक ही शैली में होगा। उदाहरण के लिए यदि आप समाचार संसाधित करेंगे तो आपको अखबार कॉर्पस का उपयोग करना चाहिए।

इसके अलावा आपको अपने मॉडल का निर्माण करने के लिए हजारों वाक्यों की आवश्यकता होगी! हो सकता है कि आप बूटस्ट्रैप को सौ से शुरू कर सकें और खराब मॉडल का उपयोग अपने कॉर्पस को बेहतर बनाने और अपने मॉडल को फिर से प्रशिक्षित करने के लिए कर सकते हैं।

और निश्चित रूप से आपको वाक्य के सभी टोकन वर्गीकृत करना चाहिए, अन्यथा किसी इकाई के प्रकार का निर्णय लेने के लिए कोई संदर्भ नहीं होगा।