के-मतलब वास्तव में बड़े मैट्रिक्स

Question

के साथ है, मुझे वास्तव में विशाल मैट्रिक्स (लगभग 300.000x100.000 मान जो 100 जीबी से अधिक है) पर के-साधन क्लस्टरिंग करना है। मैं जानना चाहता हूं कि मैं इसे या वीका करने के लिए आर सॉफ्टवेयर का उपयोग कर सकता हूं या नहीं। मेरा कंप्यूटर 8 जीबी रैम और सैकड़ों जीबी मुक्त स्थान के साथ एक मल्टीप्रोसेसर है।

मेरे पास गणना के लिए पर्याप्त जगह है लेकिन ऐसे मैट्रिक्स को लोड करना आर के साथ एक समस्या प्रतीत होता है (मुझे नहीं लगता कि बड़े पैमाने पर पैकेज का उपयोग करने से मुझे और मेरी बड़ी रैम स्वचालित रूप से मेरी सभी रैम का उपयोग करने में मदद मिलेगी, तो मेरी स्वैप फ़ाइल नहीं काफी जगह)।

तो मेरा सवाल यह है कि: मुझे किस सॉफ्टवेयर का उपयोग करना चाहिए (अंत में कुछ अन्य पैकेज या कस्टम सेटिंग्स के साथ)।

मेरी मदद करने के लिए धन्यवाद।

नोट: मैं लिनक्स का उपयोग करता हूं।

Answer 1

क्या यह के-साधन होना चाहिए? एक और संभावित तरीका है कि अपने डेटा को पहले नेटवर्क में बदलना है, फिर ग्राफ़ क्लस्टरिंग लागू करें। मैं MCL का लेखक हूं, जो एक एल्गोरिदम अक्सर जैव सूचना विज्ञान में प्रयोग किया जाता है। लिंक किए गए कार्यान्वयन को लाखों नोड्स के साथ नेटवर्क तक आसानी से स्केल करना चाहिए - आपके उदाहरण में 300 के नोड्स होंगे, यह मानते हुए कि आपके पास 100K विशेषताएँ हैं। इस दृष्टिकोण के साथ, आंकड़ों को डेटा परिवर्तन चरण में स्वाभाविक रूप से हटा दिया जाएगा - और वह कदम काफी हद तक बाधा बन जाएगा। आप दो वैक्टरों के बीच की दूरी की गणना कैसे करते हैं? जिन अनुप्रयोगों के साथ मैंने निपटाया है, उनमें मैंने पियरसन या स्पीरमैन सहसंबंध का उपयोग किया था, और एमसीएल को बड़े पैमाने पर डेटा पर इस गणना को कुशलता से करने के लिए सॉफ़्टवेयर के साथ भेज दिया गया है (यह एकाधिक CPUs और एकाधिक मशीनों का उपयोग कर सकता है)।

डेटा आकार के साथ अभी भी कोई समस्या है, क्योंकि अधिकांश क्लस्टरिंग एल्गोरिदम आपको कम से कम एक बार कम से कम जोड़ों की तुलना करने की आवश्यकता होगी। क्या आपका डेटा वास्तव में एक विशाल मैट्रिक्स के रूप में संग्रहीत है? क्या आपके पास इनपुट में कई शून्य हैं? वैकल्पिक रूप से, क्या आपके पास छोटे तत्वों को हटाने का कोई तरीका है? क्या इन कंप्यूटेशंस को वितरित करने के लिए आपके पास एक से अधिक मशीनों तक पहुंच है?

Answer 2

मैं link (जो विशिष्ट उपयोगकर्ता के लिए उपयोगी हो सकता है) रखता हूं लेकिन मैं गेविन की टिप्पणी से सहमत हूं! बिग डेटा पर के-साधन क्लस्टरिंग करने के लिए आप Revolution R Enterprise आर के स्वामित्व कार्यान्वयन में लागू आरएक्सकेमेन फ़ंक्शन का उपयोग कर सकते हैं (मुझे पता है कि यह एक समस्या हो सकती है); यह फ़ंक्शन उस तरह के डेटा को प्रबंधित करने में सक्षम प्रतीत होता है।

Answer 3

हम सब पर डेटा के बारे में कुछ भी नहीं पता है, और न ही प्रश्नकर्ता के लक्ष्यों को इसके लिए , सिर्फ सामान्य लिंक के एक जोड़े के बाद से:
I. Guyon's video lectures — कई कागजात और किताबें भी।
feature selection on stats.stackexchange

Answer 4

बाहर चेक महावत, यह कश्मीर करना होगा एक बड़े डेटा सेट पर अर्थ है:

http://mahout.apache.org/

समस्या आप के साथ आर में चलाने की संभावना हो