मैचों को दो अलग-अलग (शर्मीली नहीं) से कैसे विलय करें ल्यूसीन इंडेक्स

Question

मेरे पास दो अलग-अलग इंडेक्स हैं जो अलग-अलग फ़ील्ड रखते हैं जिसमें एक साथ इंडेक्स के लिए सभी खोजे जाने योग्य फ़ील्ड होते हैं। उदाहरण के लिए पहली अनुक्रमणिका में सभी दस्तावेजों के लिए अनुक्रमित पाठ होता है, और दूसरे में प्रत्येक दस्तावेज़ के लिए टैग होते हैं।

ध्यान दें कि नीचे दिया गया उदाहरण थोड़ा सा गड़बड़ है क्योंकि मैंने संस्थाओं के नाम बदल दिए हैं। Index1: पाठ दस्तावेज़ आईडी

Index2: टैग नाम: "बहुत महत्वपूर्ण" उपयोगकर्ता : "फ्रेड की आईडी"

मैं अनुक्रमित अलग रखने के लिए के रूप में यह बेकार लगता है लगातार अद्यतन चाहते हैं जब भी कोई उपयोगकर्ता टैग जोड़ता/निकालता है तो एक एकल अनुक्रमणिका।

अब तक मुझे लगता है कि मुझे दो खोज परिणामों को संसाधित करने और उन्हें मैन्युअल रूप से (कोड में) मर्ज करने की आवश्यकता हो सकती है। कोई अन्य सुझाव?

मैं अलग/sharded अनुक्रमणिका मर्ज करने के लिए नहीं करना चाहती।

Answer 1

इस व्यवस्था का समर्थन करने के लिए लुसेन के पास IndexReader का एक प्रकार है — ParallelReader।

यह उपयोग करने के लिए एक छोटे से मुश्किल हो सकता है एक रिकार्ड के लिए Lucene दस्तावेज़ पहचानकर्ता के रूप में दोनों सूचकांकों में ही होना चाहिए। व्यावहारिक रूप से, इसका अर्थ यह है कि दोनों इंडेक्स में एक ही क्रम में दस्तावेज़ जोड़ना। मैंने पढ़ा है कि कुछ मामलों में, दस्तावेज़ हटाना और इंडेक्स ऑप्टिमाइज़ेशन लुसीन को इन दस्तावेज़ पहचानकर्ताओं को फिर से सौंपने का कारण बन सकता है, लेकिन मैंने यह पता लगाने के लिए प्रयोग नहीं किया है कि यह सच है या नहीं। मौजूदा रिकॉर्ड संशोधित होने पर अतिरिक्त देखभाल की आवश्यकता हो सकती है। यदि केवल नए रिकॉर्ड जोड़े गए हैं, तो कोई परेशानी नहीं होनी चाहिए।

इस दृष्टिकोण को आम तौर पर "लंबवत विभाजन" कहा जाता है, "क्षैतिज विभाजन" या शेरिंग के विपरीत।

Answer 2

ऐसा लगता है कि आपको कोड में इंडेक्स को मर्ज करने की आवश्यकता है। यदि मैं सही तरीके से समझता हूं, तो किसी शब्द की खोज करते समय, दस्तावेज़ टेक्स्ट या टैग में मिलान हो सकते हैं, और प्रत्येक टैग को इसके प्रासंगिक दस्तावेज़ आईडी के साथ अनुक्रमित किया जाता है। फिर आपके पास विलय करने के लिए दो हिट सूचियां होंगी। चूंकि टैग और पूर्ण पाठ बहुत अलग इकाइयां हैं, इसलिए आपको अच्छी रैंकिंग तक पहुंचने के लिए कुछ वज़न (शायद पुनर्प्राप्ति के दौरान क्षेत्र में वृद्धि के रूप में) की आवश्यकता होगी। इस प्रकार, आप मर्ज कर सकते हैं टैग मारा और पूरा टेक्स्ट की तरह एक सूत्र का उपयोग कर दस्तावेज़ कश्मीर के लिए मारा:

score(k) = a*tagscore(k)+b*fulltextscore(k)

कहाँ ए और बी अनुभव निर्धारित गुणांक हो जाएगा।

अधिक विस्तृत चर्चा के लिए, ग्रांट इंगर्सोल के findability और debugging relevance issues in search पेपर देखें।

Answer 3

इस दृष्टिकोण के साथ मुख्य समस्या दस्तावेजों की रैंकिंग के साथ करना है क्योंकि डिफ़ॉल्ट एल्गोरिदम (और शायद कुछ अपवादों के साथ सबसे कस्टम एल्गोरिदम) शब्द आवृत्ति और व्यस्त दस्तावेज़ आवृत्ति पर आधारित होते हैं।

दूसरे शब्दों में, स्कोरर पता करने के लिए कितनी बार एक शब्द के रूप में कितने अन्य दस्तावेजों अवधि के होते हैं, एक दस्तावेज़ के भीतर प्रकट होता है के रूप में अच्छी तरह से की जरूरत है। यह जानकारी इंडेक्स में प्रत्येक शब्द के लिए संग्रहीत है, लेकिन एकाधिक अनुक्रमणिका में कुल नहीं है।

इस समस्या का सामान्य समाधान दो चरणबद्ध दृष्टिकोण है। सबसे पहले, यह निर्धारित करने के लिए प्रत्येक सूचकांक के विरुद्ध क्वेरी चलती है कि प्रत्येक शब्द में कितने दस्तावेज़ होते हैं।इसके बाद, परिणाम एकत्रित किए जाते हैं और क्वेरी फिर से चलती है, लेकिन इस बार इसके साथ व्यस्त दस्तावेज़ आवृत्ति भेज दी जाती है।

जैसा कि आप कल्पना कर सकते हैं, यह एक ही इंडेक्स के खिलाफ एक क्वेरी चलाने के साथ-साथ कुछ भी नहीं चल रहा है, लेकिन मुझे लगता है कि कई इंडेक्स में दस्तावेज़ों को संग्रहीत करने के लिए व्यापार बंद है।