गनिकोर्न में मेमोरी साझा करना?

Question

मेरे पास एक बड़ी पठन-केवल डेटा संरचना है (नेटवर्क में लोड किया गया ग्राफ, हालांकि यह महत्वपूर्ण नहीं होना चाहिए) कि मैं अपनी वेब सेवा में उपयोग करता हूं। Webservice फ्लास्क में बनाया गया है और फिर Gunicorn के माध्यम से सेवा की। यह पता चला है कि हर बंदूकधारी कार्यकर्ता के लिए मैं स्पिन करता हूं, जिसने काम किया है, मेरी डेटा-संरचना की अपनी प्रतिलिपि रखती है। इस प्रकार, मेरे ~ 700 एमबी डेटा स्ट्रक्चर जो एक कार्यकर्ता के साथ पूरी तरह से प्रबंधनीय है, जब उनमें से 8 चल रहे हैं तो एक बहुत बड़ी मेमोरी होग में बदल जाता है। क्या कोई तरीका है कि मैं इस डेटा संरचना को बंदूक प्रक्रियाओं के बीच साझा कर सकता हूं, इसलिए मुझे इतनी मेमोरी बर्बाद नहीं करनी है?

Answer 1

यह preload_app विकल्प का उपयोग करके tell gunicorn to preload your application पर ऐसा करने का सबसे आसान तरीका है। यह मानता है कि आप एक मॉड्यूल-स्तर चर के रूप में डेटा संरचना लोड कर सकते हैं:

from flask import Flask 
from your.application import CustomDataStructure 

CUSTOM_DATA_STRUCTURE = CustomDataStructure('/data/lives/here') 

# @app.routes, etc. 

वैकल्पिक रूप से, आप एक memory-mapped file (आप अपने कस्टम डेटा संरचना के साथ साझा स्मृति लपेट कर सकते हैं अगर), gevent with gunicorn सुनिश्चित करें कि आप इस्तेमाल कर सकते हैं केवल एक प्रक्रिया, या the multi-processing module to spin up your own data-structure server का उपयोग कर रहे हैं जो आप आईपीसी का उपयोग करने के लिए कनेक्ट करते हैं।