दिनांक सीमाओं के आधार पर पंक्तियों को समेकित करें

Question

मैं डेटा फ्रेम की पंक्तियों को जोड़ना चाहता हूं जैसे "प्रारंभ" और "अंत" कॉलम द्वारा वर्णित श्रेणियों में मूल डेटा सेट के सभी मान शामिल हैं। ओवरलैप, दोहराने और घोंसला वाली श्रेणियां हो सकती हैं। कुछ श्रेणियां गायब हो सकती हैं।

यहाँ जिस प्रकार का डेटा का एक उदाहरण मैं संक्षिप्त करने के लिए करना चाहते हैं क्या है:

data = data.frame(rbind(
    c("Roger", 1, 10), 
    c("Roger", 10, 15), 
    c("Roger", 16, 17), 
    c("Roger", 3, 6), 
    c("Roger", 20, 25), 
    c("Roger", NA, NA), 
    c("Susan", 2, 8))) 
names(data) = c("name", "start", "end") 
data$start = as.numeric(as.character(data$start)) 
data$end = as.numeric(as.character(data$end)) 

वांछित परिणाम होगा:

name start end 
Roger 1  17 
Roger 20 25 
Susan 2  8 

मेरे प्रयास में हर आइटम बाहर का विस्तार करने में किया गया है प्रत्येक पंक्ति के लिए सीमा। यह काम करता है, लेकिन फिर मुझे यकीन नहीं है कि इसे वापस कैसे कम करें। इसके अतिरिक्त, जिन पूर्ण डेटासेट के साथ मैं काम कर रहा हूं उनमें ~ 30 मिलियन पंक्तियां और बहुत बड़ी श्रेणियां हैं, इसलिए यह विधि बहुत धीमी है।

pb <- txtProgressBar(min = 0, max = length(data$name), style = 3) 
mylist = list() 
for(i in 1:length(data$name)){ 
    subdata = data[i,] 
    if(is.na(subdata$start)){ 
    mylist[[i]] = subdata 
    mylist[[i]]$each = NA 
    } 
    if(!is.na(subdata$start)){ 
    sequence = seq(subdata$start, subdata$end) 
    mylist[[i]] = subdata[rep(1, each = length(sequence)),] 
    mylist[[i]]$daily = sequence 
    } 
    setTxtProgressBar(pb, i) 
} 

rbindlist(mylist) 

Answer 1

मैं IRanges अनुमान लगा रहा हूँ बहुत अधिक इस के लिए कुशल, लेकिन ...

library(data.table) 

# remove missing values 
DT = na.omit(setDT(data)) 

# sort 
setorder(DT, name, start) 

# mark threshold for a new group 
DT[, high_so_far := shift(cummax(end), fill=end[1L]), by=name] 

# group and summarise 
DT[, .(start[1L], end[.N]), by=.(name, g = cumsum(start > high_so_far + 1L))] 

#  name g V1 V2 
# 1: Roger 0 1 17 
# 2: Roger 1 20 25 
# 3: Susan 1 2 8 

यह कैसे काम करता:

• cummax संचयी अधिकतम है, इसलिए वर्तमान पंक्ति सहित अब तक का उच्चतम मूल्य।
• वर्तमान पंक्ति को छोड़कर मूल्य को लेने के लिए, shift (जो पूर्व पंक्ति से खींचता है) का उपयोग करें।
• cumsum(some_condition) समूहबद्ध चर बनाने का एक मानक तरीका है।
• .Nby= द्वारा निर्धारित समूह की अंतिम पंक्ति है।

कॉलम को .(s = start[1L], e = end[.N]) जैसे अंतिम चरण में नामित किया जा सकता है।

---

तारीख अंतराल साथ । यदि तिथियों के साथ काम करना है, तो मैं IDate कक्षा का सुझाव दूंगा; Date को परिवर्तित करने के लिए बस as.IDate का उपयोग करें।

हम कर सकते हैं +1 तारीखों को, लेकिन दुर्भाग्य से नहीं cummax कर सकते हैं, तो ...

cummax_idate = function(x) (setattr(cummax(unclass(x)), "class", c("Date", "IDate"))) 

set.seed(1) 
d = sample(as.IDate("2011-11-11") + 1:10) 
cummax_idate(d) 
# [1] "2011-11-14" "2011-11-15" "2011-11-16" "2011-11-18" "2011-11-18" 
# [6] "2011-11-19" "2011-11-20" "2011-11-20" "2011-11-21" "2011-11-21" 

मैं इस समारोह cummax के स्थान पर इस्तेमाल किया जा सकता है।

फ़ंक्शन में अतिरिक्त () हैं क्योंकि setattr इसके आउटपुट को प्रिंट नहीं करेगा।