पाइथन में फ़ाइल functools.lru_cache में कैश को स्टोर करें> = 3.2

Question

मैं पाइथन 3.3 में @functools.lru_cache का उपयोग कर रहा हूं। प्रोग्राम को पुनरारंभ होने पर इसे पुनर्स्थापित करने के लिए, मैं कैश को फ़ाइल में सहेजना चाहता हूं। मैं कैसे कर सकता हूँ

संपादित करें 1 संभव समाधान: We need to pickle any sort of callable

समस्या नमकीन बनाना __closure__:

_pickle.PicklingError: Can't pickle <class 'cell'>: attribute lookup builtins.cell failed 

अगर मैं इसके बिना समारोह बहाल करने की कोशिश, मैं मिलता है:

TypeError: arg 5 (closure) must be tuple 

Answer 1

आप lru_cache का उपयोग करके जो भी करना चाहते हैं वह नहीं कर सकते हैं, क्योंकि यह कैश तक पहुंचने के लिए एपीआई प्रदान नहीं करता है, और इसे भविष्य में रिलीज़ में सी में फिर से लिखा जा सकता है। यदि आप वास्तव में कैश को सहेजना चाहते हैं तो आपको एक अलग समाधान का उपयोग करना होगा जो आपको कैश तक पहुंच प्रदान करता है।

अपने आप को कैश लिखना काफी आसान है। उदाहरण के लिए:

from functools import wraps 

def cached(func): 
    @wraps(func) 
    def wrapper(*args): 
     try: 
      return func.cache[args] 
     except KeyError: 
      func.cache[args] = result = func(*args) 
      return result 
    wrapper.cache = {} 
    return wrapper 

फिर आप यह एक डेकोरेटर के रूप में आवेदन कर सकते हैं:

>>> @cached 
... def fibonacci(n): 
...  if n < 2: 
...    return n 
...  return fibonacci(n-1) + fibonacci(n-2) 
... 
>>> fibonacci(100) 
354224848179261915075L 

और पुनः प्राप्त cache:

>>> fibonacci.cache 
{(32,): 2178309, (23,): 28657, ... } 

आप कर सकते हैं तो अचार/कैश unpickle आप कृपया के रूप में और इसे लोड करें:

fibonacci.cache = pickle.load(cache_file_object) 

---

मुझे पाइथन के अंक ट्रैकर में lru_cache पर डंप/लोड जोड़ने के लिए मिला, लेकिन इसे स्वीकार/कार्यान्वित नहीं किया गया था। शायद भविष्य में lru_cache के माध्यम से इन परिचालनों के लिए अंतर्निहित समर्थन होना संभव होगा।

Answer 2

आप नहीं कर रहे हैं सार्वजनिक एपीआई को छोड़कर सजावटी कार्यान्वयन के अंदर कुछ भी छूना चाहिए ताकि आप अपने व्यवहार को बदलना चाहते हैं, आपको शायद इसके क्रियान्वयन की प्रतिलिपि बनाना और आवश्यक कार्यों को स्वयं जोड़ना होगा। ध्यान दें कि कैश वर्तमान में गोलाकार दोगुनी लिंक्ड सूची के रूप में संग्रहीत है, इसलिए इसे सहेजने और लोड करने पर आपको देखभाल करने की आवश्यकता होगी।

Answer 3

डिस्क पर लगातार कैशिंग के लिए joblib.Memory का उपयोग करने पर विचार करें।

चूंकि डिस्क बहुत बड़ी है, एलआरयू कैशिंग योजना की कोई आवश्यकता नहीं है।

Answer 4

आप मेरा एक पुस्तकालय का उपयोग कर सकते, mezmorize

import random 
from mezmorize import Cache 

cache = Cache(CACHE_TYPE='filesystem', CACHE_DIR='cache') 


@cache.memoize() 
def add(a, b): 
    return a + b + random.randrange(0, 1000) 

>>> add(2, 5) 
727 
>>> add(2, 5) 
727