मेरी समस्या में, मेरे पास बहुत बड़ी डेटासेट है जो मेरी याददाश्त से बाहर है। मैं एचडीएफ 5 या ऐसे डिस्क डेटा का उपयोग कर अपने मॉडल को प्रशिक्षित करना चाहता हूं। क्या स्लेलेर्न इसका समर्थन करता है या कोई अन्य विकल्प है?क्या एचडीएफ 5 या डिस्क जैसे डेटा डेटा द्वारा स्केलर मॉडल को प्रशिक्षित करने का कोई तरीका है?
जो आप पूछते हैं उसे आउट-ऑफ-कोर या स्ट्रीमिंग लर्निंग कहा जाता है। यह केवल विज्ञान-सीखने वाले मॉडलों के उप-समूह के साथ संभव है जो वृद्धिशील फिटिंग के लिए partial_fit विधि को लागू करते हैं।
एक example in the documentation है। विशेष रूप से एचडीएफ 5 में डेटा पर मॉडल फिट करने के लिए कोई विशिष्ट उपयोगिता नहीं है लेकिन इस उदाहरण को किसी बाहरी डेटासोर्स से डेटा लाने के लिए अनुकूलित कर सकता है (उदाहरण के लिए स्थानीय डिस्क पर एचडीएफ 5 डेटा या नेटवर्क पर डेटाबेस, उदाहरण के लिए पांडा एसक्यूएल एडाप्टर का उपयोग करना)।
यह प्रश्न मानता है कि सिद्धांत रूप में सभी मॉडलों को स्मृति में सभी डेटा के बिना प्रशिक्षित किया जा सकता है। मुझे संदेह है कि यह मामला है। – cel
यह पूरी तरह से संभव है, उदाहरण के लिए कैफे डिस्क से डेटा लाने के लिए संरचना जैसे डीबी का उपयोग करता है क्योंकि प्रशिक्षण जाता है। – erogol
ओग्रीसेल ने एक उत्तर दिया लेकिन क्या आपको कोई अतिरिक्त तरीका मिला है? मैं वही काम करना चाहता हूं। – KobeJohn