pytables का उपयोग करना, जो अधिक कुशल है: scipy.sparse या numpy घने मैट्रिक्स?

Question

pytables का उपयोग करते समय, scipy.sparse मैट्रिक्स प्रारूपों के लिए कोई समर्थन नहीं है (जहां तक ​​मैं बता सकता हूं), इसलिए मैट्रिक्स को स्टोर करने के लिए मुझे कुछ रूपांतरण करना है, उदा।

def store_sparse_matrix(self): 
    grp1 = self.getFileHandle().createGroup(self.getGroup(), 'M') 
    self.getFileHandle().createArray(grp1, 'data', M.tocsr().data) 
    self.getFileHandle().createArray(grp1, 'indptr', M.tocsr().indptr) 
    self.getFileHandle().createArray(grp1, 'indices', M.tocsr().indices) 

def get_sparse_matrix(self): 
    return sparse.csr_matrix((self.getGroup().M.data, self.getGroup().M.indices, self.getGroup().M.indptr)) 

मुसीबत get_sparse समारोह कुछ समय (डिस्क से पढ़ने) लेता है, और अगर मैं समझता हूँ कि इसे सही ढंग से भी स्मृति में फिट करने के लिए डेटा की आवश्यकता है कि है।

एकमात्र अन्य विकल्प मैट्रिक्स को घने प्रारूप (numpy array) में परिवर्तित करने लगता है और फिर pytables सामान्य रूप से उपयोग करता है। हालांकि यह अपेक्षाकृत अक्षम है, हालांकि मुझे लगता है कि शायद pytables संपीड़न से निपटेंगे?

Answer 1

Storing numpy sparse matrix in HDF5 (PyTables) से उधार, आप एक scipy.sparse सरणी एक pytables प्रारूप में अपनी data, indicies, और indptr गुण है, जो तीन नियमित numpy.ndarray वस्तुओं रहे हैं का उपयोग कर मार्शल कर सकते हैं।