लिनक्स मेमोरी मैप की गई फाइलें आरक्षित भौतिक मेमोरी

Question

मुझे एक समस्या है जो स्मृति मैपिंग और लिनक्स के तहत बढ़ती स्मृति खपत से संबंधित कई धागे में वर्णित है।

जब मैं लिनक्स या MacOS एक्स के तहत एक 1GB फ़ाइल को खोलने और का उपयोग कर

me.data_begin = mmap(NULL, capacity(me), prot, MAP_SHARED, me.file.handle, 0); 

और क्रमिक रूप से पढ़ने के लिए मैप किया स्मृति, मेरे कार्यक्रम में अधिक से अधिक भौतिक स्मृति हालांकि मैं posix_madvise इस्तेमाल किया उपयोग करता स्मृति में नक्शा (यहां तक ​​कि कहा जाता है इसे पढ़ने की प्रक्रिया के दौरान कई बार):

posix_madvise(me.data_begin, capacity(me), MMAP_SEQUENTIAL); 

सफलता के बिना। :-(

मैंने कोशिश की:

• अलग झंडे MMAP_RANDOM, MMAP_DONTNEED, सफलता के बिना MMAP_NORMAL
• posix_fadvise (me.file.handle, 0, क्षमता (मुझे), POSIX_FADV_DONTNEED) पहले और mmap बुला के बाद -> कोई सफलता

यह मैक ओएस एक्स के तहत !!! जब मैं गठबंधन

posix_madvise(.. MMAP_SEQUENTIAL) 

काम करता है

और

msync(me.data_begin, capacity(me), MS_INVALIDATE). 

निवासी स्मृति (मैं समय-समय पर 16mio चरणों के बाद msync कहा जाता है) 16M नीचे है।

लेकिन के तहत लिनक्स कुछ भी काम करता है। क्या किसी के पास लिनक्स के तहत मेरी समस्या के लिए कोई विचार या सफलता की कहानी है?

चीयर्स, डेविड

Answer 1

लिनक्स स्मृति प्रबंधन अन्य प्रणालियों से अलग है। मुख्य सिद्धांत यह है कि स्मृति का उपयोग नहीं किया जा रहा है स्मृति स्मृति बर्बाद हो रही है। कई मायनों में, लिनक्स बेहतर प्रदर्शन में परिणामस्वरूप (अधिकांश समय) मेमोरी उपयोग को अधिकतम करने की कोशिश करता है।

यह नहीं है कि "लिनक्स में" कुछ भी काम नहीं करता है, लेकिन इसका व्यवहार अपेक्षा से थोड़ा अलग है।

जब स्मृति पृष्ठों को एमएमएपी फ़ाइल से खींचा जाता है, तो ऑपरेटिंग सिस्टम को यह तय करना होता है कि उपयोग करने के लिए कौन से भौतिक मेमोरी पेज रिलीज़ होंगे (या स्वैप आउट)। यह उन पृष्ठों की तलाश करेगा जो स्वैप करना आसान है (तत्काल डिस्क लिखने की आवश्यकता नहीं है) और फिर से उपयोग होने की संभावना कम है।

पागलवाइस() POSIX कॉल सिस्टम को यह बताने के लिए कार्य करता है कि आपका एप्लिकेशन पृष्ठों का उपयोग कैसे करेगा। लेकिन जैसा कि नाम कहता है, यह सलाह है ताकि ऑपरेटिंग सिस्टम पेजिंग और निर्णय लेने में बेहतर साधन हो। यह न तो नीति है और न ही एक आदेश है।

लिनक्स पर मैडवाइस() के प्रभावों का प्रदर्शन करने के लिए, मैंने अपने छात्रों को दिए गए अभ्यासों में से एक को संशोधित किया। complete source code here देखें। मेरा सिस्टम 64-बिट है और इसमें 2 जीबी रैम है, जो अब लगभग 50% उपयोग में है। 2 जीबी फ़ाइल को एमएमएपी करने के लिए प्रोग्राम का उपयोग करके, इसे अनुक्रमिक रूप से पढ़ें और सब कुछ छोड़ दें। यह आरएसएस उपयोग की रिपोर्ट करता है हर 200 एमबी पढ़ा जाता है।परिणाम madvice बिना():

<juliano@home> ~% ./madvtest file.dat n 
    0 :  3 MB 
    200 : 202 MB 
    400 : 402 MB 
    600 : 602 MB 
    800 : 802 MB 
    1000 : 1002 MB 
    1200 : 1066 MB 
    1400 : 1068 MB 
    1600 : 1078 MB 
    1800 : 1113 MB 
    2000 : 1113 MB 

लिनक्स के आसपास 1 जीबी तक मेमोरी खत्म बातें धक्का पढ़ा गया था रखा। इसके बाद, इसने प्रक्रिया को स्वयं दबाया (क्योंकि अन्य 50% स्मृति अन्य प्रक्रियाओं द्वारा सक्रिय थी) और फ़ाइल के अंत तक स्थिर हो गई।

अब, madvice साथ():

<juliano@home> ~% ./madvtest file.dat y 
    0 :  3 MB 
    200 : 202 MB 
    400 : 402 MB 
    600 : 494 MB 
    800 : 501 MB 
    1000 : 518 MB 
    1200 : 530 MB 
    1400 : 530 MB 
    1600 : 530 MB 
    1800 : 595 MB 
    2000 : 788 MB 

ध्यान दें कि लिनक्स प्रक्रिया करने के लिए पृष्ठों को आवंटित करने का फैसला किया है केवल जब तक यह लगभग 500 एमबी पर पहुंच गया, और भी जल्दी madvice बिना की तुलना में()। ऐसा इसलिए है क्योंकि उसके बाद, वर्तमान में स्मृति में मौजूद पृष्ठ उन पृष्ठों की तुलना में अधिक मूल्यवान लगते थे जिन्हें इस प्रक्रिया द्वारा अनुक्रमिक पहुंच के रूप में चिह्नित किया गया था। वीएमएम में एक सीमा है जो परिभाषित करती है कि खरीद से पुराने पृष्ठों को कब छोड़ना है।

आप पूछ सकते हैं कि क्यों लिनक्स 500 एमबी तक पृष्ठों को आवंटित करता रहा और जल्द से जल्द नहीं रुक गया, क्योंकि उन्हें अनुक्रमिक पहुंच के रूप में चिह्नित किया गया था। यह है कि या तो सिस्टम के पास पर्याप्त फ्री मेमोरी पेज थे, या अन्य निवासी पृष्ठ चारों ओर रखने के लिए बहुत पुराने थे। प्राचीन पृष्ठों को स्मृति में रखने के बीच जो अब उपयोगी नहीं लग रहा है, और चला रहे प्रोग्राम को सेवा देने के लिए और अधिक पृष्ठ लाने के लिए, लिनक्स दूसरा विकल्प चुनता है।

भले ही उन्हें अनुक्रमिक पहुंच के रूप में चिह्नित किया गया हो, यह केवल एक सलाह थी। एप्लिकेशन अभी भी उन पृष्ठों पर वापस जाना चाहता है और उन्हें फिर से पढ़ना चाहता है। या सिस्टम में एक और आवेदन। मैडवाइस() कॉल केवल यही कहता है कि एप्लिकेशन स्वयं क्या कर रहा है, लिनक्स बड़ी तस्वीर को ध्यान में रखता है।