आज सबसे तेज़ पूर्ण पाठ खोज?

Question

स्पॉइलर:
यह, बस बनाम स्फिंक्स एक और Lucene जो कुछ बनाम,
मैंने देखा कि अन्य सभी धागे लगभग दो साल के थे तो फिर से शुरू करने का फैसला किया ..

यहाँ आवश्यकता है:

डेटा का आकार: अधिकतम 10 जीबी।
पंक्तियों: लगभग अरबों
अनुक्रमण तेजी
खोज 0 एमएस [ठीक है, मजाक ... हंसी ... लेकिन यह जितनी कम संभव रखने]

आज की दुनिया में, के तहत होना चाहिए होना चाहिए जो/क्या /मैं इसकी शुरुआत कैसे करूं ?

संपादित करें: मैंने ल्यूसीन पर कुछ समय लगाया, और 1.8 जीबी डेटा अनुक्रमणित करने के लिए, इसमें 5 मिनट लग गए।
खोज बहुत तेज़ है, जब तक कि मैं ए * करता हूं। एक * 400 ~ 500 एमएस लेता है।
मेरी सबसे बड़ी चिंता इंडेक्सिंग है, जो loooonnnnggg समय ले रही है, और बहुत सारे संसाधन !!

Answer 1

मुझे लुसीन के अलावा कोई अनुभव नहीं है - यह बहुत अधिक डिफ़ॉल्ट अनुक्रमण समाधान है इसलिए ऐसा नहीं लगता कि आप बहुत गलत हो सकते हैं।

10 जीबी बहुत अधिक डेटा नहीं है। आप इसे बहुत तेजी से फिर से अनुक्रमणित करने में सक्षम होंगे - या इसे अतिरिक्त गति के लिए एसएसडी पर रखें। और निश्चित रूप से सुपर-फास्ट लुकअप के लिए रैम (जो ल्यूसीन का समर्थन करता है) में अपनी पूरी अनुक्रमणिका रखें।

Answer 2

improving Lucene indexing speed पर युक्तियों के लिए कृपया लुसीन विकी की जांच करें। यह काफी संक्षिप्त है। आम तौर पर, लुसीन काफी तेज होता है (इसका उपयोग रीयल-टाइम सर्च के लिए किया जाता है।) अगर आप कुछ "स्पष्ट" पर अनुपस्थित हैं तो यह पता लगाना आसान होगा।

Answer 3

मेरे सबसे बड़ी चिंता अनुक्रमण, जो है loooonnnnggg समय देने के लिए, और संसाधनों का बहुत कुछ है !!

Lusql पर एक नज़र FWIW 100 GBdata mysql से पर एक सभ्य मशीन थोड़ा सूचकांक करने के लिए एक घंटे से अधिक ले लिया अब अगर यू जोड़ने ले लो, हम इसे एक बार इस्तेमाल किया,, फाइल सिस्टम पर (NTFS)

एसएसडी या जो भी अल्ट्रा फास्ट डिस्क टेक्नोलॉजी, आप इसे काफी नीचे ला सकते हैं