लुसीन 4.4। सभी इंडेक्स पर टर्म फ्रीक्वेंसी कैसे प्राप्त करें?

Question

मैं दस्तावेज़ में प्रत्येक शब्द के टीएफ-आईडीएफ मान की गणना करने की कोशिश कर रहा हूं। इसलिए, मैं किसी दस्तावेज़ में शर्तों के माध्यम से पुन: प्रयास करता हूं और पूरे कॉर्पस में शब्द की आवृत्ति और दस्तावेजों की संख्या जिसमें शब्द प्रकट होता है। बाद मेरी कोड है:

//@param index path to index directory 
//@param docNbr the document number in the index 
public void readingIndex(String index, int docNbr) { 
    IndexReader reader = DirectoryReader.open(FSDirectory.open(new File(index))); 

    Document doc = reader.document(docNbr);   
    System.out.println("Processing file: "+doc.get("id")); 

    Terms termVector = reader.getTermVector(docNbr, "contents"); 
    TermsEnum itr = termVector.iterator(null); 
    BytesRef term = null; 

    while ((term = itr.next()) != null) {    
     String termText = term.utf8ToString();        
     long termFreq = itr.totalTermFreq(); //FIXME: this only return frequency in this doc 
     long docCount = itr.docFreq(); //FIXME: docCount = 1 in all cases 

     System.out.println("term: "+termText+", termFreq = "+termFreq+", docCount = "+docCount); 
    }    

    reader.close();  
} 

हालांकि प्रलेखन कहते हैं totalTermFreq() सभी दस्तावेजों भर में इस अवधि की घटनाओं की कुल संख्या देता है, जब मैंने पाया परीक्षण यह केवल docNbr द्वारा दिए गए दस्तावेज में इस शब्द की आवृत्ति रिटर्न । और docFreq() हमेशा वापस आते हैं 1.

मैं पूरे सूचकांक में किसी शब्द की आवृत्ति कैसे प्राप्त कर सकता हूं?

अद्यतन बेशक, मैं अपनी आवृत्ति में एक शब्द को मैप करने के लिए एक नक्शा बना सकता हूं। फिर प्रत्येक दस्तावेज़ के माध्यम से एक शब्द होने की कुल संख्या की गणना करने के लिए पुनरावृत्त करें। हालांकि, मैंने सोचा कि ल्यूसीन के उस उद्देश्य के लिए एक विधि में बनाया जाना चाहिए। धन्यवाद,

Answer 1

IndexReader.TotalTermFreq(Term) यह आपके लिए प्रदान करेगा। TermsEnum पर समान विधियों पर आपकी कॉल वास्तव में गणना में सभी दस्तावेजों के आंकड़े प्रदान कर रही हैं। पाठक का उपयोग करके आपको इंडेक्स में सभी दस्तावेजों के आंकड़े मिलेंगे। कुछ ऐसा:

String termText = term.utf8ToString(); 
Term termInstance = new Term("contents", term);        
long termFreq = reader.totalTermFreq(termInstance); 
long docCount = reader.docFreq(termInstance); 

System.out.println("term: "+termText+", termFreq = "+termFreq+", docCount = "+docCount);