मेमोरी आवंटन सुझाव

Question

मेरे पास बहु-थ्रेडेड सेक्शन है जहां थ्रेड को डेटा के कई बड़े सेगमेंट आवंटित करने की आवश्यकता होती है, प्रत्येक को ~ 100 एमबी कहते हैं, बफर के रूप में उपयोग करने के लिए। इसके अलावा, बफर को रन टाइम पर कई बार आकार देने की आवश्यकता हो सकती है।

प्राकृतिक समाधान realloc का उपयोग करना है, लेकिन यह स्मृति को स्थानांतरित कर सकता है जिसकी आवश्यकता नहीं है। free/malloc बफर का आकार बदलने के लिए जोड़ी मुझे डर है कि हाथ से अन्य समस्याएं पैदा होने से पहले विखंडन और स्मृति को सुरक्षित कर सकता है।

स्मृति का आवंटन/पुन: आवंटित करने के लिए मैं इसके बजाय क्या उपयोग कर सकता हूं?

Answer 1

free और malloc का उपयोग करें। इससे विखंडन की समस्या नहीं होगी।

आधुनिक आवंटक स्मृति विखंडन के लिए काफी प्रतिरोधी हैं। इन दिनों, विखंडन की समस्याओं के कारण यह काफी पैथोलॉजिकल प्रोग्राम लेता है। फ्रैगमेंटेशन एक और गंभीर समस्या थी जब हमारे कार्यक्रमों ने सीधे भौतिक रैम को संबोधित किया, लेकिन वर्चुअल मेमोरी के साथ किसी प्रोग्राम के ढेर में एक बड़ा "छेद" किसी भी संसाधन का उपभोग करने की आवश्यकता नहीं है।

इसके अलावा, बफर के आकार के कारण, अधिकांश आवंटक प्रत्येक बफर के लिए कर्नेल से समर्पित क्षेत्र का अनुरोध करेंगे। लिनक्स/ओएस एक्स/बीएसडी पर, इसका अर्थ प्रत्येक बफर के दृश्यों के पीछे एक अज्ञात mmap है। यह पता स्थान के विखंडन का कारण बन सकता है, लेकिन वर्चुअल एड्रेस स्पेस मूल रूप से 64-बिट सिस्टम पर निःशुल्क है, और कुछ सौ मेग 32-बिट पर कोई समस्या नहीं है।

तो free और malloc का उपयोग करें।

वैकल्पिक: आपको प्रत्येक बफर को आपकी आवश्यकता से बड़ा बनाने के लिए तेज़ी से मिल सकती है। जिस तरह से malloc आधुनिक यूनिक्स पर काम करता है, कोई भी पृष्ठ जिसे आप लिखने के लिए नहीं लिखते हैं, स्मृति का उपभोग नहीं करते हैं।

तो यदि आप malloc एक 500 एमबी बफर का उपयोग करते हैं, लेकिन केवल पहले 100 एमबी का उपयोग करते हैं, तो आपका प्रोग्राम वास्तव में malloc एक 100 एमबी बफर से अधिक स्मृति का उपयोग नहीं करता है और पूरी चीज का उपयोग करता है। आपको इस तरह से अधिक पता स्थान विखंडन मिलता है, लेकिन 64-बिट सिस्टम पर कोई समस्या नहीं है, और आप हमेशा आवंटन आकार को ट्यून कर सकते हैं ताकि यह 32-बिट सिस्टम पर भी काम कर सके।

के रूप में सुझाव mmap का उपयोग करने के लिए, mmap/munmap के लिए अधिक सरल अंतरफलक के रूप में malloc/free का सिर्फ लगता है, जो है क्या यह बड़े आवंटन के लिए है (1 MiB एक आम सीमा है)।

Answer 2

malloc/realloc/free के साथ अपने समाधान को कार्यान्वित करें और इसे प्रोफाइल करें। यदि स्मृति आवंटन एक समस्या है, तो आप फेसबुक के jemalloc, या Google के tcmalloc जैसे मॉलोक के बेहतर कार्यान्वयन का उपयोग कर सकते हैं।

दोनों की तुलना के लिए C++ memory allocation mechanism performance comparison (tcmalloc vs. jemalloc) देखें।

वे दोनों आंतरिक/बाहरी विखंडन को संभालने में बहुत अच्छे हैं।

Answer 3

बस realloc का उपयोग करें। एक आधुनिक प्रणाली पर, भले ही बफर को नए पते पर ले जाया जाता है, फिर भी पृष्ठ तालिका तालिकाओं (लिनक्स, mremap पर) में हेरफेर करके कदम होगा; मुझे यकीन है कि अन्य प्रणालियों में एक समान तंत्र है) और डेटा कॉपी करके नहीं। (यहां ध्यान दें कि मैं बड़े बफर मान रहा हूं; छोटे बफर के लिए, आमतौर पर कुछ सौ केबी से कम, वास्तविक प्रतिलिपि होगी।)

यदि आपका लक्ष्य 64-बिट मशीन है, तो स्मृति विखंडन के बारे में चिंता करने की बिल्कुल आवश्यकता नहीं है। वर्चुअल एड्रेस स्पेस से बाहर निकलने के लिए आप कभी भी खराब स्मृति को खराब नहीं करेंगे। यदि आपको 32-बिट मशीनों को भी संभालने की आवश्यकता है, तो आप तब तक सुरक्षित रहेंगे जब तक आपके पास बहुत सारे धागे नहीं हैं। जब तक कुल मेमोरी खपत 1 जीबी से कम हो, तब तक विखंडन के कारण आभासी पता स्थान से बाहर निकलना बहुत कठिन होगा, आपके उपयोग पैटर्न मानते हैं। यदि आप इसके बारे में चिंतित हैं, तो संभवतया आपको सबसे बड़ा आकार पूर्ववत करें।