उच्च प्रदर्शन सरणी का मतलब

Question

मुझे प्रदर्शन बाधा मिली है। मैं बड़े सरणी के स्तंभ-वार माध्य (250 पंक्तियों & 1.3 मिलियन कॉलम) की गणना कर रहा हूं, और मैं अपने आवेदन में दस लाख से अधिक बार ऐसा करता हूं। अजगर में

मेरे परीक्षण का मामला:

import numpy as np 
big_array = np.random.random((250, 1300000)) 
%timeit mean = big_array.mean(axis = 0) # ~400 milliseconds 

Numpy मेरी मशीन पर लगभग 400 मिलीसेकेंड लेता है, एक सिंगल कोर पर चल रहा है। मैंने विभिन्न भाषाओं (साइथन, आर, जूलिया, मशाल) में कई अन्य मैट्रिक्स पुस्तकालयों की कोशिश की है, लेकिन लगभग 250 मिलीसेकंड लेकर, केवल जूलिया को नम्पी को हराया।

क्या कोई इस कार्य में प्रदर्शन में पर्याप्त सुधार के सबूत प्रदान कर सकता है? शायद यह एक कार्य GPU के लिए उपयुक्त है?

संपादित करें: मेरा आवेदन स्पष्ट रूप से स्मृति-बाधित है, और इसके प्रदर्शन को बार-बार की बजाय एक बार बड़ी सरणी के तत्वों तक पहुंचकर नाटकीय रूप से सुधार किया जाता है। (नीचे टिप्पणी देखें।)

Answer 1

जूलिया, अगर मुझे गलत नहीं लगता है, तो स्मृति में फोर्ट्रन ऑर्डरिंग का उपयोग करता है, जो डिफ़ॉल्ट रूप से सी मेमोरी लेआउट का उपयोग करता है। तो अगर आप चीजों को एक ही लेआउट ताकि मतलब सन्निहित स्मृति के साथ क्या हो रहा है का पालन करने को पुनर्व्यवस्थित, आप बेहतर प्रदर्शन प्राप्त:

In [1]: import numpy as np 

In [2]: big_array = np.random.random((250, 1300000)) 

In [4]: big_array_f = np.asfortranarray(big_array) 

In [5]: %timeit mean = big_array.mean(axis = 0) 
1 loop, best of 3: 319 ms per loop 

In [6]: %timeit mean = big_array_f.mean(axis = 0) 
1 loop, best of 3: 205 ms per loop 

या आप केवल आपके आयाम बदलने और अन्य अक्ष से अधिक मतलब ले जा सकते हैं:

In [10]: big_array = np.random.random((1300000, 250)) 

In [11]: %timeit mean = big_array.mean(axis = 1) 
1 loop, best of 3: 205 ms per loop