आर डेटाटेबल स्लाइडिंग विंडो

Question

डेटा.table पैकेज के साथ एक स्लाइडिंग विंडो फ़ंक्शन को लागू करने का सबसे अच्छा (सबसे तेज़ तरीका) क्या है?

मैं रोलिंग औसत की गणना करने की कोशिश कर रहा हूं लेकिन प्रति दिन कई पंक्तियां हैं (2 अतिरिक्त कारकों के कारण), जो मुझे लगता है कि चिड़ियाघर रोलप्ली फ़ंक्शन काम नहीं करेगा। लूप के लिए एक बेवकूफ का उपयोग करने का एक उदाहरण यहां दिया गया है:

library(data.table) 
df <- data.frame(
    id=30000, 
    date=rep(as.IDate(as.IDate("2012-01-01")+0:29, origin="1970-01-01"), each=1000), 
    factor1=rep(1:5, each=200), 
    factor2=1:5, 
    value=rnorm(30, 100, 10) 
) 

dt = data.table(df) 
setkeyv(dt, c("date", "factor1", "factor2")) 

get_window <- function(date, factor1, factor2) { 
    criteria <- data.table(
    date=as.IDate((date - 7):(date - 1), origin="1970-01-01"), 
    factor1=as.integer(factor1), 
    factor2=as.integer(factor2) 
) 
    return(dt[criteria][, value]) 
} 

output <- data.table(unique(dt[, list(date, factor1, factor2)]))[, window_median:=as.numeric(NA)] 

for(i in nrow(output):1) { 
    print(i) 
    output[i, window_median:=median(get_window(date, factor1, factor2))] 
} 

Answer 1

data.table में वर्तमान में रोलिंग विंडो के लिए कोई विशेष विशेषताएं नहीं हैं। मेरा उत्तर में यहाँ अधिक विस्तार एक और इसी तरह प्रश्न यहाँ करने के लिए:

Is there a fast way to run a rolling regression inside data.table?

रोलिंग मंझला दिलचस्प है। यह एक विशेष समारोह की आवश्यकता होगी कुशलता से (पहले टिप्पणी में के रूप में ही लिंक) करने के लिए: यहाँ

Rolling median algorithm in C

प्रश्न में data.table समाधान और जवाब सब बहुत अक्षम, एक उचित विशेष rollingmedian समारोह के सापेक्ष हैं (जो आर afaik के लिए उपलब्ध नहीं है)।

Answer 2

यह समाधान काम करता है लेकिन इसमें कुछ समय लगता है।

df <- data.frame(
    id=30000, 
    date=rep(seq.Date(from=as.Date("2012-01-01"),to=as.Date("2012-01-30"),by="d"),each=1000), 
    factor1=rep(1:5, each=200), 
    factor2=1:5, 
    value=rnorm(30, 100, 10) 
) 

myFun <- function(dff,df){ 
    median(df$value[df$date>as.Date(dff[2])-8 & df$date<as.Date(dff[2])-1 & df$factor1==dff[3] & df$factor2==dff[4]]) 
} 

week_Med <- apply(df,1,myFun,df=df) 

week_Med_df <- cbind(df,week_Med) 

Answer 3

मैं एक लेटे हुए डेटासेट बनाकर और एक बड़ी भागीदारी करके 1.4s तक उदाहरण प्राप्त करने में कामयाब रहा।

df <- data.frame(
    id=30000, 
    date=rep(as.IDate(as.IDate("2012-01-01")+0:29, origin="1970-01-01"), each=1000), 
    factor1=rep(1:5, each=200), 
    factor2=1:5, 
    value=rnorm(30, 100, 10) 
) 

dt2 <- data.table(df) 
setkeyv(dt, c("date", "factor1", "factor2")) 

unique_set <- data.table(unique(dt[, list(original_date=date, factor1, factor2)])) 
output2 <- data.table() 
for(i in 1:7) { 
    output2 <- rbind(output2, unique_set[, date:=original_date-i]) 
}  

setkeyv(output2, c("date", "factor1", "factor2")) 
output2 <- output2[dt] 
output2 <- output2[, median(value), by=c("original_date", "factor1", "factor2")] 

यह परीक्षण डेटासेट पर बहुत अच्छी तरह से काम करता है लेकिन मेरे असली पर यह 8 जीबी रैम के साथ विफल रहता है। मैं इसे काम करने के लिए हाई मेमोरी ईसी 2 इंस्टेंस (17, 34 या 68 जीबी रैम के साथ) में जाने की कोशिश करने जा रहा हूं। कम मेमोरी गहन तरीके से इसे कैसे करें इस पर कोई विचार