लोचदार खोज स्मृति उपयोग

Question

के संबंध में मैं वर्तमान में elasticsearch 0.9.19 का उपयोग कर रहा हूं। जिस मशीन का मैं उपयोग कर रहा हूं वह लगभग 300 जीबी डिस्क स्पेस है और उस पर रैम लगभग 23 जीबी है। मैंने लोचदार खोज के लिए लगभग 10 जीबी रैम आवंटित किया है। मेरे परिचालन गहन लिख रहे हैं। वे लगभग 1000docs/s हैं। मैं केवल मशीन पर लोचदार खोज चला रहा हूं और कोई अन्य प्रक्रिया नहीं। डॉक्टर का आकार बड़ा नहीं है। वे केवल 10 से अधिक फ़ील्ड के साथ छोटे हैं। लोचदार खोज केवल एक मशीन पर चल रही है जिसमें 1 शर्ड और 0 प्रतिकृतियां हैं।

स्मृति का उपयोग किया जाता है, जब मैं 1000 docs/s भेज रहा हूं तो बहुत तेज़ी से बढ़ना शुरू हो जाता है। हालांकि मैंने केवल 10 जीबी रैम आवंटित करने के लिए आवंटित किया है, लेकिन फिर भी लगभग 21 जीबी रैम खपत हो जाता है और अंततः लोचदार खोज प्रक्रिया के परिणामस्वरूप ढेर की जगह होती है। बाद में मुझे सभी मेमोरी को मुक्त करने के लिए ओएस कैश को साफ़ करने की आवश्यकता है। यहां तक ​​कि जब मैं लोचदार खोज भेजना बंद करता हूं, 1000docs/s तब भी स्मृति स्वचालित रूप से साफ़ नहीं हो जाती है।

तो जैसे मैं चारों ओर 1000doc/s लिखने संचालन के साथ लोचदार खोज चला रहा हूँ, तो के लिए, मैंने पाया है कि यह 18 जीबी राम उपयोग करने के लिए बाद में बहुत जल्दी चला गया और जब मैं अपने लिखने के संचालन केवल 10 डॉक्स कम/तब भी स्मृति है अभी भी 18 जीबी के आसपास दिखाया गया है। जो मुझे लगता है कि लिखने के संचालन की संख्या में कमी के साथ नीचे आना चाहिए। मैं प्रति प्रश्न 100 दस्तावेज़ों के आकार के साथ अपने लेखन कार्यों को करने के लिए थोक एपीआई का उपयोग कर रहा हूं। डेटा 4 मशीनों से आ रही है जब लिखने के संचालन के आसपास 1000docs/सेक रहे हैं

ये आंकड़े जो मैं शीर्ष

मेम करने के बाद हो रही है कर रहे हैं: कुल 24731664k, 18252700k इस्तेमाल किया, 6478964k मुक्त, 322492k बफ़र्स

स्वैप: 4194296k कुल, 0 हजार इस्तेमाल किया, 4194296k मुक्त, 8749780k कैश्ड

पीआईडी ​​उपयोगकर्ता पीआर एनआई VIRT आरईएस SHR S% सीपीयू% सदस्य समय + Command

1004 elastics 20 0 10.7g 8.3g 10 मी एस 1 35.3 806: 28.69 जावा

कृपया बताती हैं कि किसी भी एक किसी भी विचार, क्या इस का कारण यह हो सकता है नहीं है। इस मुद्दे के कारण मुझे अपने आवेदन को रोकना है। मुझे लगता है कि मुझे कोई विन्यास याद आ रहा है। मैं पहले से ही यहाँ http://www.elasticsearch.org/guide/reference/index-modules/cache.html

से अधिक लोचदार खोज के लिए सभी कैश संबंधित दस्तावेजों को पढ़ लिया है मैं भी स्पष्ट कैश एपीआई और भी करने की कोशिश की फ्लश एपीआई का उपयोग कर कैश को साफ़ करने की कोशिश की है। लेकिन किसी भी सुधार में नहीं मिला।

अग्रिम धन्यवाद।

Answer 1

मेलिंग सूची थ्रेड पर उत्तर सारांशित करने के लिए: समस्या यह थी कि रूबी क्लाइंट अपने आवेषणों को थ्रॉटल करने में सक्षम नहीं था, और ल्यूसीन मेमोरी उपयोग बढ़ता जा रहा है क्योंकि बड़ी संख्या में दस्तावेज़ जोड़े गए हैं। मुझे लगता है कि प्रतिबद्धता आवृत्ति के साथ भी कोई समस्या हो सकती है: नए जोड़े गए दस्तावेज़ों को डिस्क पर फ़्लश करने के लिए समय-समय पर प्रतिबद्ध होना महत्वपूर्ण है। क्या ओपी अभी भी समस्या है? यदि नहीं, तो क्या आप समाधान पोस्ट कर सकते हैं?