फ़्रेड सुरक्षा स्टैक ओवरफ़्लो त्रुटि

Question

मैं बहुत बड़ी फ़ाइलों को पढ़ने के प्रयास में data.table (1.8.8, R 3.0.1) में फ़्रेड का उपयोग कर रहा हूं।

प्रश्नों में फ़ाइल में 313 पंक्तियां और संख्यात्मक डेटा पंक्तियों के ~ 6.6 मिलियन कोल हैं और फ़ाइल लगभग 12 जीबी है। यह 512 जीबी रैम के साथ एक केंद्र 6.4 है।

जब मैं फ़ाइल में पढ़ने के लिए प्रयास:

g=fread('final.results',header=T,sep=' ') 
'header' changed by user from 'auto' to TRUE 
Error: protect(): protection stack overflow 

मैं --max-ppsize 500000 है, जो अधिकतम है, लेकिन एक ही त्रुटि के साथ आर शुरू करने की कोशिश की।

मैं भी

ulimit -s unlimited 

आभासी स्मृति के माध्यम से असीमित करने के लिए ढेर आकार सेट पहले से असीमित करने के लिए स्थापित किया गया था की कोशिश की।

क्या मैं इस आकार की फ़ाइल के साथ अवास्तविक हूं? क्या मुझे कुछ स्पष्ट याद आया?

Answer 1

अब आर-फोर्ज पर v1.8.9 में तय किया गया है।

• एक अनायास ही 50,000 स्तंभ सीमा fread में हटा दिया गया है। रिपोर्टिंग के लिए mpmorley के लिए धन्यवाद। टेस्ट जोड़ा गया।

  // ********************************************************************* 
  // Allocate columns for known nrow 
  // ********************************************************************* 
  ans=PROTECT(allocVector(VECSXP,ncol)); 
  protecti++; 
  setAttrib(ans,R_NamesSymbol,names); 
  for (i=0; i<ncol; i++) { 
      thistype = TypeSxp[ type[i] ]; 
      thiscol = PROTECT(allocVector(thistype,nrow)); // ** HERE ** 
      protecti++; 
      if (type[i]==SXP_INT64) 
       setAttrib(thiscol, R_ClassSymbol, ScalarString(mkChar("integer64"))); 
      SET_TRUELENGTH(thiscol, nrow); 
      SET_VECTOR_ELT(ans,i,thiscol); 
  } 
  

  R-exts section 5.9.1 के अनुसार, कि पाश अंदर की रक्षा की जरूरत नहीं है:

  कुछ

कारण मैं इस हिस्से fread.c स्रोत में गलत था मामलों को वास्तव में आवश्यक सुरक्षा के लिए बेहतर ट्रैक रखना आवश्यक है। बनें विशेष रूप से परिस्थितियों के बारे में जानते हैं जहां बड़ी संख्या में ऑब्जेक्ट उत्पन्न होते हैं। सूचक सुरक्षा ढेर के पास एक निश्चित आकार (डिफ़ॉल्ट 10,000) है और पूर्ण हो सकता है। यह का एक अच्छा विचार नहीं है, फिर बस दृष्टि में सबकुछ सुरक्षित करें और अंत में कई हजार वस्तुओं को अनवरोधित करें। यह ऑब्जेक्ट को अन्य ऑब्जेक्ट (जो स्वचालित रूप से उनकी सुरक्षा करता है) के रूप में ऑब्जेक्ट असाइन करने के लिए लगभग हमेशा संभव होगा या उपयोग के तुरंत बाद उन्हें असुरक्षित कर देगा।

ताकि सुरक्षा अब हटा दी गई हो और सब ठीक है। (ऐसा लगता है कि उस पाठ को लिखा गया था क्योंकि पॉइंटर सुरक्षा स्टैक सीमा को 50,000 तक घटा दिया गया है; Defn.h में #define R_PPSSIZE 50000L है।) मैंने डेटाटेबल सी स्रोत में अन्य सभी प्रोटेक्ट्स की जांच की है, जो कुछ भी समान और पाए गए हैं और निर्दिष्ट किए गए हैं .c भी (संदर्भ द्वारा 50,000 से अधिक कॉलम जोड़ते समय), कोई अन्य नहीं।

रिपोर्टिंग के लिए धन्यवाद!