पर एक बड़ी NumPy सरणी लिखने के कुशल तरीके मुझे वर्तमान में PiCloud पर चल रहा एक प्रोजेक्ट मिला है जिसमें ओडीई सॉल्वर के एकाधिक पुनरावृत्तियों को शामिल किया गया है। प्रत्येक पुनरावृत्ति लगभग 30 पंक्तियों और 1500 स्तंभों की एक न्यूप्पी सरणी उत्पन्न करती है, जिसमें प्रत्येक पुनरावृत्तियों को पिछले परिणामों की सरणी के नीचे जोड़ दिया जाता है।फ़ाइल
आम तौर पर, मैं बस इन बड़े बड़े सरणी को फ़ंक्शन द्वारा वापस लौटा दूंगा, उन्हें स्मृति में रखूंगा और उन सभी को एक साथ सौदा कर दूंगा। को छोड़कर PiCloud में डेटा के आकार पर काफी प्रतिबंधित कैप है जो एक फ़ंक्शन द्वारा बाहर निकाला जा सकता है, ट्रांसमिशन लागतों को कम रखने के लिए। जो ठीक है, सिवाय इसके कि इसका मतलब है कि मुझे हजारों नौकरियां लॉन्च करना होगा, प्रत्येक पर पुनरावृत्ति पर चल रहा है, काफी ऊपरी हिस्से के साथ।
ऐसा लगता है कि फ़ाइल में आउटपुट लिखना सबसे अच्छा समाधान है, और उसके बाद फ़ाइल को अन्य फ़ंक्शन का उपयोग करके एकत्र करें जिसमें उनके पास स्थानांतरण सीमा नहीं है।
क्या यह करने के लिए मेरी सबसे अच्छी शर्त है कि इसे सिर्फ एक CSV फ़ाइल में डंप करें? क्या मुझे प्रत्येक पुनरावृत्ति सीएसवी फ़ाइल में जोड़ना चाहिए, या इसे अंत तक एक सरणी में रखें और फिर केवल एक बार लिखें? क्या कुछ गड़बड़ है मुझे याद आ रही है?
वास्तव में उनके लिए मानव-पठनीय होने का कोई कारण नहीं है - बस डेटा सेट के चारों ओर स्थानांतरित करने के लिए सीएसवी फ़ाइलों का उपयोग करने के लिए उपयोग किया जाता है, जहां परिशुद्धता वास्तव में कारक नहीं है (ज्यादातर चीजें पूर्णांक हैं)। ऐसा लगता है कि मैं क्या देख रहा था। – Fomite