लुसीन

Question

के साथ टीएफ-आईडीएफ वैक्टर निकालें मैंने ल्यूसीन का उपयोग करके दस्तावेजों का एक सेट अनुक्रमित किया है। मैंने प्रत्येक दस्तावेज़ सामग्री के लिए DocumentTermVector भी संग्रहीत किया है। मैंने एक कार्यक्रम लिखा और प्रत्येक दस्तावेज़ के लिए आवृत्ति वेक्टर शब्द मिला, लेकिन मैं प्रत्येक दस्तावेज़ के टीएफ-आईडीएफ वेक्टर कैसे प्राप्त कर सकता हूं?

Directory dir = FSDirectory.open(new File(indexDir)); 
    IndexReader ir = IndexReader.open(dir); 
    for (int docNum=0; docNum<ir.numDocs(); docNum++) { 
     System.out.println(ir.document(docNum).getField("filename").stringValue()); 
     TermFreqVector tfv = ir.getTermFreqVector(docNum, "contents"); 
     if (tfv == null) { 
     // ignore empty fields 
     continue; 
     } 
     String terms[] = tfv.getTerms(); 
     int termCount = terms.length; 
     int freqs[] = tfv.getTermFrequencies(); 

     for (int t=0; t < termCount; t++) { 
     System.out.println(terms[t] + " " + freqs[t]); 
     } 
    } 

वहाँ Lucene में किसी भी buit में समारोह मुझे ऐसा करने के लिए है:

यहाँ मेरी कोड है कि प्रत्येक दस्तावेज़ में अवधि आवृत्तियों आउटपुट है?

---

कोई भी मदद की, और मैं अपने आप को द्वारा यह किया:

Directory dir = FSDirectory.open(new File(indexDir)); 
    IndexReader ir = IndexReader.open(dir); 

    int docNum; 
    for (docNum = 0; docNum<ir.numDocs(); docNum++) { 
     TermFreqVector tfv = ir.getTermFreqVector(docNum, "title"); 
     if (tfv == null) { 
       // ignore empty fields 
       continue; 
     } 
     String tterms[] = tfv.getTerms(); 
     int termCount = tterms.length; 
     int freqs[] = tfv.getTermFrequencies(); 

     for (int t=0; t < termCount; t++) { 
      double idf = ir.numDocs()/ir.docFreq(new Term("title", tterms[t])); 
      System.out.println(tterms[t] + " " + freqs[t]*Math.log(idf)); 
     } 
    } 

वहाँ किसी भी तरह से प्रत्येक शब्द का आईडी नंबर मिल रहा है?

---

कोई भी मदद की, और मैं फिर से अपने आप से यह किया:

List list = new LinkedList(); 
    terms = null; 
    try 
    { 
     terms = ir.terms(new Term("title", "")); 
     while ("title".equals(terms.term().field())) 
     { 
     list.add(terms.term().text()); 
     if (!terms.next()) 
      break; 
     } 
    } 
    finally 
    { 
     terms.close(); 
    } 
    int docNum; 
    for (docNum = 0; docNum<ir.numDocs(); docNum++) { 
     TermFreqVector tfv = ir.getTermFreqVector(docNum, "title"); 
     if (tfv == null) { 
       // ignore empty fields 
       continue; 
     } 
     String tterms[] = tfv.getTerms(); 
     int termCount = tterms.length; 
     int freqs[] = tfv.getTermFrequencies(); 

     for (int t=0; t < termCount; t++) { 
      double idf = ir.numDocs()/ir.docFreq(new Term("title", tterms[t])); 
      System.out.println(Collections.binarySearch(list, tterms[t]) + " " + tterms[t] + " " + freqs[t]*Math.log(idf)); 
     } 
    } 

Answer 1

आप शायद नहीं एक tf-आईडीएफ वेक्टर पाया हूँ। लेकिन जैसा कि आप पहले ही कर चुके हैं, आप हाथ से आईडीएफ की गणना कर सकते हैं। आपके लिए गणना करने के लिए DefaultSimilarity (या जो भी समानता कार्यान्वयन आप उपयोग कर रहे हैं) का उपयोग करना शायद बेहतर है।

टर्म आईडी के संबंध में, मुझे लगता है कि वर्तमान में आप नहीं कर सकते हैं। At least not until Lucene 4.0, this देखें।