पाठ (जावा)

Question

से नाम निकालें क्या किसी को पाठ के शरीर से केवल संज्ञा निकालने का सबसे आसान तरीका पता है?

मैं TreeTagger tool के बारे में सुना है और मैं इसे एक शॉट देने की कोशिश की, लेकिन यह किसी कारण के लिए काम करने के लिए नहीं मिल सका।

कोई सुझाव?

धन्यवाद फिल

संपादित करें:

 import org.annolab.tt4j.*; 
TreeTaggerWrapper tt = new TreeTaggerWrapper(); 

try { tt.setModel("/Nouns/english.par"); 

tt.setHandler(new TokenHandler() { 
    void token(String token, String pos, String lemma) {  
    System.out.println(token+"\t"+pos+"\t"+lemma); } }); 
    tt.process(words); // words = list of words 

    } finally { tt.destroy(); 
}

मेरी कोड है, अंग्रेजी भाषा है। मुझे त्रुटि मिल रही थी: प्रकार नया टोकन हैंडलर() {} को विरासत सार विधि TokenHandler.token को लागू करना होगा। क्या मुझसे कुछ गलत हो रही है?

Answer 1

सबसे पहले आपको अपना टेक्स्ट टोकन करना होगा। यह तुच्छ लग सकता है (किसी भी व्हाइटस्पेस पर विभाजित आपके लिए काम कर सकता है) लेकिन औपचारिक रूप से यह कठिन है। फिर आपको यह तय करना होगा कि संज्ञा क्या है। क्या "कार पार्क" में एक संज्ञा (कार पार्क), दो संज्ञाएं (कार, पार्क) या एक संज्ञा (पार्क) और एक विशेषण (कार) है? यह एक कठिन समस्या है, लेकिन फिर आप इसके बिना प्राप्त करने में सक्षम हो सकते हैं।

क्या "मैंने देखा xyzzy" एक संज्ञा की पहचान एक संज्ञा में नहीं है? "द" शब्द शायद xyzzy को संज्ञा के रूप में पहचानता है।

"समय मक्खियों की तरह उड़ता है" में संज्ञाएं कहां हैं। "फल की तरह मक्खियों की तरह मक्खियों" की तुलना करें (ग्रौचो मार्क्स के लिए धन्यवाद)। (; http://opennlp.sourceforge.net/ पर opennlp.tools.postag.POSDictionary opennlp.tools.lang.english.PosTagger) सामान्य अंग्रेजी में संज्ञाओं को खोजने के लिए और मैं था

हम OpenNLP टूलकिट में ब्राउन टैगर (जावा) (http://en.wikipedia.org/wiki/Brown_Corpus) का उपयोग इसके साथ शुरू करने की सलाह दें - यह आपके लिए आपकी अधिकांश सोच है। अन्यथा POSTAGERS (http://en.wikipedia.org/wiki/POS_tagger) या (http://www-nlp.stanford.edu/links/statnlp.html#Taggers) में से किसी भी को देखें।

कंप्यूटर से भाग के- भाषण टैगिंग में, यह ठेठ, अंग्रेजी के लिए भाषण की 50 150 अलग अलग हिस्सों से अलग करने के उदाहरण के लिए, एनएन विलक्षण जातिवाचक संज्ञाएं के लिए, है बहुवचन आम के लिए NNS संज्ञाएं, एनपी के लिए विलक्षण व्यक्तिवाचक संज्ञाओं (ब्राउन कोर्पस में इस्तेमाल पीओएस टैग देख)

http://en.wikipedia.org/wiki/Natural_language_processing_toolkits में NLP उपकरणकिटें का एक बहुत ही पूरी सूची नहीं है। मैं दृढ़ता से सुझाव दूंगा कि आप Wordnet या अन्य संग्रहों के खिलाफ मिलान करने की कोशिश करने के बजाय उनमें से एक का उपयोग करें।

Answer 2

WordNet डेटाबेस पर एक नज़र डालें। यह व्याख्यात्मक डेटाबेस। आप इसके खिलाफ प्रत्येक शब्द से मिलान करने का प्रयास कर सकते हैं और जांच सकते हैं कि यह एक संज्ञा है या नहीं।

मुझे संदेह है कि आपके पास 100% सटीकता होगी, हालांकि; डेटाबेस में अंग्रेजी भाषा में हर संभव शब्द के लिए कोई मिलान नहीं है, लेकिन कम से कम यह एक शुरुआत है।

Answer 3

LingPipe देखें। यह माना जाता है कि अंग्रेजी पाठ से named entities निकाल सकते हैं। लेकिन मुझे कबूल करना होगा कि NLP विशेषज्ञता का मेरा क्षेत्र नहीं है।

Answer 4

सबसे आसान तरीका शायद शब्दों में से प्रत्येक शब्द के साथ पाठ में प्रत्येक शब्द की तुलना करना होगा। इसके बाद आपको शायद कुछ प्राथमिक पार्सिंग करना होगा और परिणामों में अनुमानित शुद्धता स्वीकार करनी होगी। प्राकृतिक भाषाओं को पार्स करने के लिए ऑनलाइन संदर्भों के बहुत सारे संदर्भ।

Answer 5

एक API (जैसे WS, RESTful) जो आप के खिलाफ खोज प्रश्नों को चलाने के लिए उपयोग कर सकते हैं के साथ एक शब्दकोश वेब साइट का पता लगाएं।

परिणाम एक आसानी से उपभोज्य प्रारूप (उदाहरण के एक्सएमएल, JSON) में आना चाहिए और निश्चित रूप से करना चाहिए शब्द का शाब्दिक वर्ग शामिल हैं।

Answer 6

आपके संपादन के आधार:

त्रुटि का कहना है कि आप सार विधि टोकन ओवरराइड चाहिए, और आप अपने गुमनाम भीतरी कक्षा में टोकन के लिए एक परिभाषा है, लेकिन हो सकता है आपके टोकन-ओवरराइड के हस्ताक्षर नहीं है टोकन हैंडलर में परिभाषित अमूर्त विधि के हस्ताक्षर से मेल खाते हैं?

Answer 7

मेरी निम्न कोड TreeTagger साथ काम करता है:

public List<String> tag(String str) { 
    final List<String> tagLemme = new ArrayList<String>(); 
    String[] tokens =tokenizer.tokenize(str); 
     System.setProperty("treetagger.home", "parametresTreeTagger/TreeTagger"); 
    TreeTaggerWrapper tt = new TreeTaggerWrapper<String>(); 
    try { 
     tt.setModel("parametresTreeTagger/english/english.par"); 
     tt.setHandler(new TokenHandler<String>(){ 
       public void token(String token, String pos, String lemma) { 
         tagLemme.add(token + "_" + pos + "_" + lemma); 
         //System.out.println(token + "_" + pos + "_" + lemma); 
       } 
     }); 
     tt.process(asList(tokens)); 
    } catch (IOException e) { 
     e.printStackTrace(); 
     } catch (TreeTaggerException e) { 
     e.printStackTrace(); 
    } 
finally { 
     tt.destroy(); 
} 
    return tagLemme; 
}