में कनवर्ट करें मेरे पास 84 जीबी की कुल 100 एम लाइन सीएसवी फ़ाइल (वास्तव में कई अलग सीएसवी फाइलें) हैं। मुझे इसे एक फ्लोट डेटासेट के साथ एक एचडीएफ 5 फाइल में बदलने की जरूरत है। मैंने बिना किसी समस्या के परीक्षण में h5py का उपयोग किया, लेकिन अब मैं स्मृति से बाहर किए बिना अंतिम डेटासेट नहीं कर सकता।बड़े सीएसवी को hdf5
मैं पूरे डेटासेट को मेमोरी में स्टोर किए बिना एचडीएफ 5 पर कैसे लिख सकता हूं? मैं यहां वास्तविक कोड की उम्मीद कर रहा हूं, क्योंकि यह काफी सरल होना चाहिए।
मैं सिर्फ pytables देख रहा था, लेकिन यह सरणी वर्ग (जो एचडीएफ 5 डेटासेट से मेल खाता है) की तरह दिखता नहीं है, इसे क्रमशः लिखा जा सकता है। इसी तरह, पांडा में read_csv
और to_hdf
इसके io_tools
में विधियां हैं, लेकिन मैं एक ही समय में संपूर्ण डेटासेट लोड नहीं कर सकता, जिससे यह काम नहीं करेगा। शायद आप पीईटीबल्स या पांडा में अन्य टूल्स के साथ समस्या को सही ढंग से हल करने में मेरी मदद कर सकते हैं।