पांडो ज्ञापन

Question

मेरे पास लंबी गणना है जो मैं कई बार दोहराता हूं। इसलिए, मैं ज्ञापन (jug और joblib जैसे संकुल) का उपयोग करना चाहूंगा, Pandas के साथ संगीत कार्यक्रम में। समस्या यह है कि क्या पैकेज विधि तर्क के रूप में अच्छी तरह से पांडस डेटाफ्रेम को याद करेगा।

क्या किसी ने इसे आजमाया है? क्या ऐसा करने के लिए कोई अन्य अनुशंसित पैकेज/तरीका है?

Answer 1

यहां जॉग के लेखक: जुग ठीक काम करता है। मैं सिर्फ निम्नलिखित की कोशिश की और यह काम करता है:

from jug import TaskGenerator 
import pandas as pd 
import numpy as np 


@TaskGenerator 
def gendata(): 
    return pd.DataFrame(np.arange(343440).reshape((10,-1))) 

@TaskGenerator 
def compute(x): 
    return x.mean() 

y = compute(gendata()) 

यह रूप में यह सिर्फ pickle आंतरिक DataFrame के लिए हालांकि यह मक्खी पर संपीड़ित करता है का उपयोग करता है (के रूप में यह हो सकता है के रूप में कुशल नहीं है, तो यह संदर्भ में भयानक नहीं है स्मृति उपयोग का; बस इतना धीमा हो सकता है)। https://github.com/luispedro/jug/blob/master/jug/backends/file_store.py#L102

Answer 2

मैं इस मूल ज्ञापन सजावट, memoized का उपयोग करता हूं। http://wiki.python.org/moin/PythonDecoratorLibrary#Memoize

डेटाफ्रेम हैंशबल हैं, इसलिए इसे ठीक काम करना चाहिए। यहां एक उदाहरण दिया गया है।

In [2]: func = lambda df: df.apply(np.fft.fft) 

In [3]: memoized_func = memoized(func) 

In [4]: df = DataFrame(np.random.randn(1000, 1000)) 

In [5]: %timeit func(df) 
10 loops, best of 3: 124 ms per loop 

In [9]: %timeit memoized_func(df) 
1000000 loops, best of 3: 1.46 us per loop 

मेरे लिए अच्छा लग रहा है।