2012-01-12 16 views
6

मैं एक वर्ष के बारे में एक अपाचे सोलर उपयोगकर्ता हूं। मैंने सरल खोज उपकरण के लिए सोलर का उपयोग किया लेकिन अब मैं 5TB डेटा के साथ सोलर का उपयोग करना चाहता हूं। मुझे लगता है कि 5TB डेटा 7TB होगा जब मैं फ़िल्टर के अनुसार सोलर इंडेक्स का उपयोग करता हूं। और फिर मैं एक ही सूचकांक में प्रति घंटे लगभग 50 एमबी डेटा जोड़ दूंगा।अपाचे सोलर हैंडल टेराबीट बड़े डेटा

1- क्या 5TB डेटा वाले सिंगल सोलर सर्वर का उपयोग करने में कोई समस्या है। (टुकड़े के बिना)

  • एक करने के लिए सर्वर Solr कर सकते हैं एक स्वीकार्य समय

  • क्या 7TB सूचकांक पर 50MB डेटा के करने से के लिए संभावित समय है बी में प्रश्नों के उत्तर।

  • सी- क्या इंडेक्स आकार के लिए ऊपरी सीमा है।

2- सुझाव है कि आप

  • की पेशकश एक करने के लिए मुझे कितने टुकड़े का उपयोग करना चाहिए

  • बी मैं Solr कोर

  • ग का उपयोग करना चाहिए क्या कर रहे हैं आपके द्वारा पेश की जाने वाली आवृत्ति आवृत्ति क्या है।

3- बड़े डेटा


इस तरह की किसी भी परीक्षण के परिणाम देखते हैं उपलब्ध 5TB डेटा नहीं है, मैं सिर्फ अनुमान लगाने के लिए क्या परिणाम होगा चाहते हैं (1 घंटा ठीक है)।

नोट: आप मान सकते हैं कि हार्डवेयर संसाधन कोई समस्या नहीं है।

+1

आपके लिए एक प्रश्न। मान लें कि आप 5TB कच्चे डेटा को अनुक्रमणित कर रहे हैं, आपको लगता है कि यह 7TB तक क्यों बढ़ेगा? क्या मुझे इसका मतलब यह समझना चाहिए कि आप इंडेक्स में पूर्ण दस्तावेज़ सामग्री को संग्रहीत कर रहे हैं, क्योंकि केवल खोज फ़ील्ड को संग्रहीत करने के विरोध में? यदि ऐसा है, तो मैं केवल सोलर में खोज के लिए जो कुछ चाहिए उसे संग्रहीत करने का सुझाव दूंगा। कच्चे दस्तावेज़ खुद कहीं और हैं। – rfeak

उत्तर

3

यदि आपके आकार टेक्स्ट के लिए हैं, बाइनरी फाइलों के बजाय (जिसका टेक्स्ट आमतौर पर बहुत कम होगा), तो मुझे नहीं लगता कि आप इसे एक मशीन में करने का नाटक कर सकते हैं।

यह Logly जैसा लगता है और वे इस तरह के डेटा को संभालने के लिए सोलरक्लाउड का उपयोग करते हैं।

ठीक है अगर सभी समृद्ध दस्तावेज हैं तो इंडेक्स में कुल टेक्स्ट आकार बहुत छोटा होगा (मेरे लिए यह मेरे शुरुआती आकार का लगभग 7% होगा)। वैसे भी, उस घटित राशि के साथ भी, आपके पास अभी भी एक उदाहरण के लिए बहुत अधिक डेटा है जो मुझे लगता है।

+0

लेकिन प्रति घंटे 50 एमबी का मतलब है कि प्रति माह 0.75 टीबी नहीं है, यह 0.075 टीबी है जिसका अर्थ है 75 जीबी प्रति माह – Mustafa

+0

खेद नहीं है कि मुझे अपनी गणना इतनी गलत कैसे मिली। वैसे भी एक सिंगल सोलर के लिए इंटियल डेटा बहुत बड़ा है, मुझे लगता है ... – Persimmonium

+0

आपकी राय में सिंगल सोलर सर्वर – Mustafa

संबंधित मुद्दे