Matplotlib गति?

Question

मैंने here पढ़ा है कि matplotlib बड़े डेटा सेट को संभालने में अच्छा है। मैं डेटा प्रसंस्करण अनुप्रयोग लिख रहा हूं और मैक्सप्लोटिब प्लॉट को डब्ल्यूएक्स में एम्बेडेड किया है और गति के संदर्भ में और स्मृति के मामले में डेटा की बड़ी मात्रा को संभालने में मैटलप्लिब को ट्रिबिल पाया है। क्या किसी को आपके इनपुट को कम करने के अलावा मैप्लोट्लिब को गति देने (स्मृति पदचिह्न को कम करने) का तरीका पता है?

इसे समझने के लिए कितना बुरा matplotlib स्मृति के साथ इस कोड पर विचार करें:

import pylab 
import numpy 
a = numpy.arange(int(1e7)) # only 10,000,000 32-bit integers (~40 Mb in memory) 
# watch your system memory now... 
pylab.plot(a) # this uses over 230 ADDITIONAL Mb of memory 

Answer 1

downsampling यहाँ एक अच्छा समाधान है - 10M स्थानों की प्लॉटिंग matplotlib में स्मृति और समय की एक गुच्छा खपत करता है। यदि आप जानते हैं कि कितनी मेमोरी स्वीकार्य है, तो आप उस राशि के आधार पर डाउनसमूल कर सकते हैं। उदाहरण के लिए, 1 मी अंक मान लीजिए स्मृति के 23 अतिरिक्त एमबी लेता है और आप इसे स्थान और समय के संदर्भ में स्वीकार किए जाने की मिल जाए, इसलिए आप ऐसा downsample चाहिए कि यह हमेशा 1M अंक नीचे है:

if(len(a) > 1M): 
    a = scipy.signal.decimate(a, int(len(a)/1M)+1) 
pylab.plot(a) 

या कुछ की तरह ऊपर स्निपेट (। ऊपर अपने स्वाद के लिए भी आक्रामक तरीके से downsample सकता है)

Answer 2

मैं भी इतनी बार चरम मानों में दिलचस्पी रखता हूँ, डेटा की बड़ी मात्रा की साजिश रचने से पहले, मैं इस तरह से आगे बढ़ना:

import numpy as np 

s = np.random.normal(size=(1e7,)) 
decimation_factor = 10 
s = np.max(s.reshape(-1,decimation_factor),axis=1) 

# To check the final size 
s.shape 

बेशक np.max जू है चरम गणना समारोह का एक उदाहरण है।

पीएस numpy "स्ट्रिप्स ट्रिक्स" के साथ reshape के दौरान डेटा कॉपी करने से बचना संभव होना चाहिए।