एनएलटीके

Question

का उपयोग कर ओसीआर से अनजान शब्दों को टोकन करना I पीडीएफ फाइलों से निकाले गए कुछ पाठ को संसाधित करने के लिए एनएलटीके का उपयोग कर रहा हूं। मैं टेक्स्ट को ज्यादातर बरकरार रख सकता हूं, लेकिन ऐसे कई उदाहरण हैं जहां शब्दों के बीच की जगहें कैप्चर नहीं की जाती हैं, इसलिए मुझे if I, या के बजाय that position, या andhe's के बजाय and he's के बजाय शब्द मिलते हैं।

मेरा प्रश्न यह है: मैं उन शब्दों को देखने के लिए एनएलटीके का उपयोग कैसे कर सकता हूं जो इसे पहचान नहीं पा रहे हैं/नहीं सीखा है, और देखें कि क्या "पास" शब्द संयोजन हैं जो अधिक होने की संभावना है? क्या इस तरह के चेक को लागू करने के लिए एक और अधिक शानदार तरीका है, जो कि अज्ञात शब्द, एक समय में एक चरित्र, इसे विभाजित करने और देखने के लिए कि क्या यह दो पहचानने योग्य शब्द बनाता है?

Answer 1

मैं सुझाव दूंगा कि आप इसके बजाय pyenchant का उपयोग करने पर विचार करें, क्योंकि यह इस तरह की समस्या के लिए एक अधिक मजबूत समाधान है। आप pyenchant here डाउनलोड कर सकते हैं। यहां एक उदाहरण दिया गया है कि आप इसे इंस्टॉल करने के बाद अपने परिणाम कैसे प्राप्त करेंगे:

>>> text = "IfI am inthat position, Idon't think I will." # note the lack of spaces 
>>> from enchant.checker import SpellChecker 
>>> checker = SpellChecker("en_US") 
>>> checker.set_text(text) 
>>> for error in checker: 
    for suggestion in error.suggest(): 
     if error.word.replace(' ', '') == suggestion.replace(' ', ''): # make sure the suggestion has exact same characters as error in the same order as error and without considering spaces 
      error.replace(suggestion) 
      break 
>>> checker.get_text() 
"If I am in that position, I don't think I will." # text is now fixed