डेटा फ्रेम में सीएसवी आउटपुट प्राप्त करने का सबसे तेज़ तरीका क्या है?

Question

मेरे पास एक ऐसा प्रोग्राम है जो CSV डेटा की लाइनों को आउटपुट करता है जिसे मैं डेटा फ्रेम में लोड करना चाहता हूं। मैं वर्तमान में तो जैसे डेटा लोड:

tmpFilename <- "tmp_file" 
system(paste(procName, ">", tmpFilename), wait=TRUE) 
myData <- read.csv(tmpFilename) # (I also pass in colClasses and nrows for efficiency) 

हालांकि, मैं एक फाइल करने के लिए उत्पादन पुनः निर्देशित सोचा बस से अक्षम था (कार्यक्रम 30MB के बारे में पता थूक को पढ़ने के लिए, तो मैं अनुकूलतम प्रदर्शन के साथ संभाल करना चाहते हैं)। मैंने सोचा था कि textConnection इस का समाधान होगा, इसलिए मैंने कोशिश की:

con <- textConnection(system(procName, intern=TRUE)) 
myData <- read.csv(con) 

यह बहुत धीमी चलाता है, हालांकि, और जबकि पहले समाधान इनपुट आकार के साथ रैखिक खराब हो, textConnection समाधान के प्रदर्शन खराब हो तेजी से ऐसा लगता है। सबसे धीमा हिस्सा textConnection बना रहा है। read.csv यहां वास्तव में पहले समाधान की तुलना में तेज़ हो जाता है क्योंकि यह स्मृति से पढ़ रहा है।

मेरा प्रश्न तब है, बस read.csv चलाने के लिए फ़ाइल बना रहा है, यह गति के संबंध में मेरा सबसे अच्छा विकल्प है? क्या पाठ कनेक्शन के निर्माण को तेज करने का कोई तरीका है? बोनस: टेक्स्ट कनेक्शन क्यों धीमा कर रहा है?

Answer 1

"सबसे तेज़ तरीका" शायद read.csv के अलावा किसी अन्य चीज़ का उपयोग करने में शामिल होगा। हालांकि, पाइप तरीका का उपयोग कर किया जा सकता है जाने के लिए read.csv साथ चिपके हुए,:

myData <- read.csv(pipe(procName)) 

यह एक मध्यवर्ती बफर में पूरा टेक्स्ट उत्पादन पढ़ने टाल (कम से कम पहले read.csv यह के ahold हो जाता है)।

कुछ समय तुलना:

> write.csv(data.frame(x=rnorm(1e5)), row.names=FALSE, file="norm.csv") 
> system.time(d <- read.csv("norm.csv")) 
    user system elapsed 
    0.398 0.004 0.402 
> system.time(d <- read.csv(textConnection(system("cat norm.csv", intern=TRUE)))) 
    user system elapsed 
56.159 0.106 56.095 
> system.time(d <- read.csv(pipe("cat norm.csv"))) 
    user system elapsed 
    0.475 0.012 0.531