एनएलटीके

Question

में कस्टम टैग के साथ प्रशिक्षण टैगर मेरे पास Hi here's my [KEYWORD phone number], let me know when you wanna hangout: [PHONE 7802708523]. I live in a [PROP_TYPE condo] in [CITY New York] प्रारूप में टैग किए गए डेटा के साथ एक दस्तावेज़ है। मैं इस प्रकार के टैग किए गए दस्तावेज़ों के सेट के आधार पर एक मॉडल को प्रशिक्षित करना चाहता हूं, और फिर नए दस्तावेज़ों को टैग करने के लिए अपने मॉडल का उपयोग करना चाहता हूं। क्या यह एनएलटीके में संभव है? मैंने chunking और NLTK-Trainer स्क्रिप्ट पर देखा है, लेकिन इनके पास टैग और कॉरपोरेशन का एक सीमित सेट है, जबकि मेरे डेटासेट में कस्टम टैग हैं।

Answer 1

जिस समस्या को आप हल करना चाहते हैं उसे सबसे अधिक सामान्यतः Named Entity Recognition (NER) कहा जाता है। कई एल्गोरिदम हैं जो समस्या को हल करने में आपकी सहायता कर सकते हैं, लेकिन सबसे महत्वपूर्ण धारणा यह है कि आपको अनुक्रम टैगर्स के लिए अपने टेक्स्ट डेटा को उपयुक्त प्रारूप में बदलने की आवश्यकता है।

I  O 
love O 
Paris B-LOC 
and O 
New B-LOC 
York I-LOC 
.  O 

वहाँ से, आप इस तरह के अनुभवहीन Bayes, SVM, MAXENT, सीआरएफ, आदि वर्तमान में ऐसे बहु के लिए सबसे लोकप्रिय एल्गोरिथ्म के रूप में वर्गीकारक, किसी भी प्रकार प्रशिक्षित करने के लिए चुन सकते हैं: यहाँ जैव प्रारूप का एक उदाहरण है -टेकन अनुक्रम वर्गीकरण कार्य CRF है। ऐसे टूल्स उपलब्ध हैं जो आपको ऊपर दिखाए गए प्रारूप (उदाहरण के लिए YamCha, CRF++, CRFSuite, Wapiti) का उपयोग करके फ़ाइल से बीआईओ मॉडल (हालांकि मूल रूप से चंकिंग के लिए लक्षित) को प्रशिक्षित करने देगा। यदि आप पायथन का उपयोग कर रहे हैं तो आप एनएलटीके के अलावा scikit-learn, python-crfsuite और PyStruct देख सकते हैं।

Answer 2

@AleksandarSavkov पहले से ही लिखा है, यह अनिवार्य रूप से नामित इकाई पहचान (एनईआर) कार्य है - या अधिक आम तौर पर एक खंडन कार्य, जैसा कि आप पहले से ही महसूस करते हैं। यह कैसे करें एनएलटीके पुस्तक के chapter 7 में अच्छी तरह से कवर किया गया है। मैं अनुशंसा करता हूं कि आप regexp टैगिंग पर अनुभागों को अनदेखा करें और अनुभाग 3, Developing and evaluating chunkers में दृष्टिकोण का उपयोग करें। इसमें कोड नमूने शामिल हैं जो आप एक चंकर बनाने के लिए verbatim का उपयोग कर सकते हैं (ConsecutiveNPChunkTagger)। आपकी ज़िम्मेदारी उन सुविधाओं का चयन करना है जो आपको अच्छा प्रदर्शन देंगे।

आपको एनएलटीके के आर्किटेक्चर द्वारा अपेक्षित आईओबी प्रारूप में अपना डेटा बदलने की आवश्यकता होगी; यह भाषण टैग के हिस्से की अपेक्षा करता है, इसलिए पहला कदम एक पीओएस टैगर के माध्यम से अपना इनपुट चलाने के लिए होना चाहिए; nltk.pos_tag() एक सभ्य पर्याप्त काम करेगा (एक बार जब आप [KEYWORD ...] जैसे मार्कअप को बंद कर देते हैं), और स्थापित करने के लिए कोई अतिरिक्त सॉफ़्टवेयर की आवश्यकता नहीं है। , Http देख

Hi NNP O 
here RB O 
's POS O 
my PRP$ O 
phone NN B-KEYWORD 
number NN I-KEYWORD 
, , O 
let VB O 
me PRP O 
...