Elasticsearch में मानक टोकनफिल्टर क्या करता है?

Question

There are no examples in the documentation, और मैं बस सोच रहा था कि इनपुट से मुझे क्या उम्मीद करनी है।

Answer 1

एलैस्टिकसेर्च 0.16 (ल्यूसीन 3.1) से पहले मानक टोकन फ़िल्टर "मानक टोकननाइज़र द्वारा निकाले गए टोकन को सामान्यीकृत करना" था। विशिष्ट होने के लिए, यह शब्दकोष में शब्दों और बिंदुओं के अंत में 's हटा रहा था। तो, मानक फ़िल्टर पास करने के बाद Apple'sC.E.OAppleCEO बन जाएगा। Elasticsearch 0.16 (लुसीन 3.1) से शुरू मानक मानक टोकन फ़िल्टर nothing (कम से कम इस समय) करता है। यह श्रृंखला में अगले फ़िल्टर में टोकन पास करता है।

Answer 2

यहां लुसीन ट्रंक से स्टैंडर्डफिल्टर के स्रोत कोड का एक अंश है। यह वास्तव में कुछ भी नहीं करता है।

public final boolean incrementToken() throws IOException { 
    return input.incrementToken(); // TODO: add some niceties for the new grammar 
}