ल्यूकेन.Net अंडरस्कोर टोकन स्प्लिट

Question

का कारण बनता है मैंने एक एमएसएसक्लसे सर्वर डेटाबेस, विचारों और संग्रहीत प्रक्रियाओं को एक निर्देशिका संरचना में लिखा है जिसे मैं Lucene.net के साथ अनुक्रमणित कर रहा हूं। मेरी अधिकांश तालिका, दृश्य और प्रक्रिया नामों में अंडरस्कोर होते हैं।

मैं मानक विश्लेषक का उपयोग करता हूं। अगर मैं tIr_ चालान BtnWtn01 नाम की एक तालिका के लिए पूछताछ करता हूं, उदाहरण के लिए, मैं tIr _InvoiceBtnWtn01 के बजाय, TIr और InvoiceBtnWtn01 के लिए हिट वापस प्राप्त करता हूं।

मुझे लगता है कि समस्या यह है कि टोकननाइज़र _ (अंडरस्कोर) पर विभाजित है क्योंकि यह विराम चिह्न है।

क्या विराम चिह्न सूची से अंडरस्कोर को निकालने का एक (सरल) तरीका है या क्या कोई अन्य विश्लेषक है जिसे मुझे एसक्यूएल और प्रोग्रामिंग भाषाओं के लिए उपयोग करना चाहिए?

Answer 1

हां, मानक विश्लेषक अंडरस्कोर पर विभाजित होता है। Whitespace विश्लेषक नहीं करता है। ध्यान दें कि आप प्रत्येक फ़ील्ड के लिए विभिन्न विश्लेषकों का उपयोग करने के लिए एक PerFieldAnalyzerWrapper का उपयोग कर सकते हैं - आप टेबल/कॉलम नाम को छोड़कर सबकुछ के लिए कुछ मानक विश्लेषक की कार्यक्षमता रखना चाह सकते हैं।

व्हाइटस्पेस विश्लेषक केवल व्हाइटस्पेस विभाजन करता है। उदाहरण के लिए, यह आपके टोकन को कम नहीं करेगा। तो हो सकता है कि आप अपना खुद का विश्लेषक बनाना चाहें जो व्हाइटस्पेस टोकनाइज़र और लोअरकेसफिल्टर को जोड़ता है, या लोअरकेस टोकनाइज़र में दिखता है।

संपादित करें: सरल कस्टम विश्लेषक (सी # में है, लेकिन आप बहुत आसानी से जावा के लिए यह अनुवाद कर सकते हैं):

// Chains together standard tokenizer, standard filter, and lowercase filter 
class MyAnalyzer : Analyzer 
{ 
    public override TokenStream TokenStream(string fieldName, System.IO.TextReader reader) 
    { 
     StandardTokenizer baseTokenizer = new StandardTokenizer(Lucene.Net.Util.Version.LUCENE_29, reader); 
     StandardFilter standardFilter = new StandardFilter(baseTokenizer); 
     LowerCaseFilter lcFilter = new LowerCaseFilter(standardFilter); 
     return lcFilter; 
    } 
}