आर में स्मृति सीमा से अधिक (यहां तक ​​कि 24 जीबी रैम के साथ)

Question

मैं दो डेटाफ्रेम मर्ज करने की कोशिश कर रहा हूं: एक में 33 चर के 908450 अवलोकन हैं, और दूसरे में 2 चर के 908450 अवलोकन हैं।

dataframe2 <-merge(dataframe1, dataframe2, by="id") 

मैं काम कर स्मृति से अन्य सभी dataframes साफ़ कर दिया है, और (रैम 24 GB के साथ एक नया डेस्कटॉप के लिए) मेरी स्मृति सीमा रीसेट कोड का उपयोग:

memory.limit(24576) 

लेकिन, मैं मुझे अभी भी त्रुटि Cannot allocate vector of size 173.Mb मिल रही है।

इस समस्या को हल करने के तरीके पर कोई विचार?

Answer 1

करने के लिए (* nix मशीनों पर समायोज्य हो सकता है) मेरी टिप्पणियों का पालन करें, data.table का उपयोग करें। मैंने आपके डेटा से मेल खाने वाला एक त्वरित उदाहरण दिखाया है:

library(data.table) 

dt1 <- data.table(id = 1:908450, matrix(rnorm(908450*32), ncol = 32)) 
dt2 <- data.table(id = 1:908450, rnorm(908450)) 
#set keys 
setkey(dt1, id) 
setkey(dt2, id) 
#check dims 
> dim(dt1) 
[1] 908450  33 
> dim(dt2) 
[1] 908450  2 
#merge together and check system time: 
> system.time(dt3 <- dt1[dt2]) 
    user system elapsed 
    0.43 0.03 0.47 

इसलिए इसे एक साथ विलय करने के लिए 1/2 सेकंड से भी कम समय लगा। मैंने अपनी याददाश्त को देखकर स्क्रीनशॉट से पहले और बाद में लिया। विलय से पहले, मैं 3.4 गीगा रैम का उपयोग कर रहा था। जब मैं एक साथ विलय हो गया, तो यह 3.7 तक पहुंच गया और बंद हो गया। मुझे लगता है कि इससे कुछ और स्मृति या समय कुशल होने के लिए आपको कठोर दबाव डाला जाएगा।

से पहले:

के बाद:

Answer 2

जहां तक ​​मेरा वहाँ तीन समाधान है के बारे में सोच सकते हैं:

• उपयोग datatables
• उपयोग स्वैप स्मृति
• उपयोग नमूना