बिग डेटा Arules पैकेज से "लेनदेन" में परिवर्तित

Question

आर में arules पैकेज वर्ग 'लेनदेन' का उपयोग करता है। तो फ़ंक्शन apriori() का उपयोग करने के लिए मुझे अपने मौजूदा डेटा को कन्वर्ट करने की आवश्यकता है। मैं 2 कॉलम और मोटे तौर पर 1.6 मिमी पंक्तियों के साथ एक मैट्रिक्स मिल गया है और इस तरह डेटा परिवर्तित करने की कोशिश की:

transaction_data <- as(split(original_data[,"id"], original_data[,"type"]), "transactions") 

जहां original_data अपने डेटा मैट्रिक्स है। डेटा की मात्रा के कारण मैंने 64 जीबी रैम के साथ सबसे बड़ी एडब्ल्यूएस अमेज़ॅन मशीन का इस्तेमाल किया। थोड़ी देर के बाद मैं

जिसके परिणामस्वरूप वेक्टर 'AnswerType'

में वेक्टर लंबाई सीमा पार कर मशीन की मेमोरी उपयोग 60% पर 'केवल' अभी भी था। क्या यह आर-आधारित सीमा है? नमूनाकरण का उपयोग करने के अलावा इस के आसपास काम करने का कोई तरीका है? जब डेटा के 1/4 का उपयोग करते हुए परिवर्तन ठीक काम करता था।

संपादित करें: जैसा कि बताया गया है, चर के एक वर्ण चरित्र के बजाय एक कारक था। परिवर्तन बदलने के बाद जल्दी और सही संसाधित किया गया था।

Answer 1

मुझे संदेह है कि आपकी समस्या उत्पन्न हो रही है क्योंकि फ़ंक्शंस में से एक इंडेक्स मानों के लिए पूर्णांक (बजाए, कहें, फ्लोट्स) का उपयोग करता है। किसी भी मामले में, आकार बहुत बड़ा नहीं है, इसलिए यह आश्चर्यजनक है। हो सकता है कि डेटा में कुछ अन्य समस्याएं हों, जैसे चरित्र कारक के रूप में?

सामान्य में, हालांकि, मैं वास्तव में, स्मृति मैप की गई फ़ाइलों का उपयोग कर bigmemory के माध्यम से है, जो आप भी bigsplit या mwhich के माध्यम से विभाजित है और प्रक्रिया कर सकते हैं सलाह देते हैं। यदि आपके लिए डेटा ऑफ़लोड करना आपके लिए काम करता है, तो आप एक बहुत छोटा उदाहरण आकार भी उपयोग कर सकते हैं और $$ बचा सकते हैं। :)