अनुकूलन सी # फ़ाइल IO

Question

परिदृश्य - 150 एमबी टेक्स्ट फ़ाइल जो पुराने ईमेल खाते का निर्यात किया गया इनबॉक्स है। एक विशिष्ट उपयोगकर्ता से ईमेल को पर्स करने और खींचने की आवश्यकता है और इन्हें एक नई, एकल फ़ाइल में लिखना है। मेरे पास कोड है जो काम करता है, यह सिर्फ धीमा हो गया है।

मैं मूल फ़ाइल से कॉपी कहां शुरू/समाप्त करने के लिए मार्कर स्ट्रिंग का उपयोग कर रहा हूं।

StreamReader sr = new StreamReader("c:\\Thunderbird_Inbox.txt"); 
     string working = string.Empty; 
     string mystring = string.Empty; 
     while (!sr.EndOfStream) 
     { 
      while ((mystring = sr.ReadLine()) != null) 
      { 
       if (mystring == strBeginMarker) 
       { 
        writeLog(mystring); 

        //read the next line 
        working = sr.ReadLine(); 

         while(!(working.StartsWith(strEndMarker))) 
         { 
          writeLog(working); 
          working = sr.ReadLine(); 

         } 
        } 
      } 

     } 
     this.Text = "DONE!!"; 
     sr.Close(); 

समारोह है कि नई फ़ाइल चुने गए संदेशों को लिखते हैं::

public void writeLog(string sMessage) 
    { 
      fw = new System.IO.StreamWriter(path, true); 
      fw.WriteLine(sMessage); 
      fw.Flush(); 
      fw.Close(); 
    } 

फिर, यह प्रक्रिया काम करता है

यहाँ मुख्य कार्य है। मुझे एक अच्छी आउटपुट फ़ाइल मिलती है, इसमें काफी समय लगता है और मुझे यकीन है कि इसे तेज़ी से बनाने के तरीके हैं।

Answer 1

सबसे बड़ा अनुकूलन कई बार इस आपरेशन की शुरुआत में फ़ाइल एक बार खोलने के लिए अपने WRITELOG पद्धति को बदलने, यह करने के लिए लिखते हैं, तो अंत में इसे बंद करना होगा।

अभी, आप प्रत्येक पुनरावृत्ति फ़ाइल को खोल और बंद कर रहे हैं, जहां आप लिखते हैं, जो निश्चित रूप से चीजों को धीमा करने जा रहा है।

// Open this once at the beginning! 
using(fw = new System.IO.StreamWriter(path, true)) 
{ 
    using(StreamReader sr = new StreamReader("c:\\Thunderbird_Inbox.txt")) 
    { 
     string working; 
     string mystring; 
     while ((mystring = sr.ReadLine()) != null) 
     { 
      if (mystring == strBeginMarker) 
      { 
       writeLog(mystring); 

       //read the next line 
       working = sr.ReadLine(); 

       while(!(working.StartsWith(strEndMarker))) 
       { 
        fw.WriteLine(working); 
        working = sr.ReadLine(); 
       } 
      } 
     } 
    } 
} 
this.Text = "DONE!!"; 

Answer 2

मैं परीक्षण करने के लिए एक 150MB पाठ फ़ाइल की जरूरत नहीं है, लेकिन स्मृति एक स्ट्रिंग में पकड़ बात पढ़ना होगा यदि आपके सर्वर है और एक रेगुलर एक्सप्रेशन से संदेश काम से बाहर खींच कर:

निम्नलिखित का प्रयास करें ?

Answer 3

आप बस while लूप के बाहर StreamWriter ऑब्जेक्ट घोषित कर सकते हैं और लूप के अंदर बस उस पंक्ति को लिख सकते हैं।

इस तरह

:

StreamWriter sw = new StreamWriter(path, true); 
while 
{ 
    // ... 
    while(!(working.StartsWith(strEndMarker))) 
    { 
     sw.WriteLine(working); 
     working = sr.ReadLine(); 
    } 
} 

Answer 4

मुझे लगता है कि आपको:

1. ओपन फ़ाइलें एक बार।
2. स्मृति में लोड स्रोत फ़ाइल।
3. इसे तोड़ें और प्रसंस्करण के लिए कई धागे का उपयोग करें।

Answer 5

मैं बस एक साधारण पार्सर करूँगा। ध्यान दें कि यह मानता है (जैसा कि आप उपरोक्त कोड में करते हैं) कि मार्कर वास्तव में अद्वितीय हैं।

आप अपने उत्पादन का एक सा स्वरूपण के साथ खेलने के लिए हो सकता है, लेकिन यहां एक सामान्य उपाय है:

// Read the entire file and close it 
    using (StreamReader sr = new 
    StreamReader("c:\\Thunderbird_Inbox.txt");) 
    { 
     string data = sr.ReadToEnd(); 
    } 

    string newData = ""; 
    int position = data.IndexOf(strBeginMarker); 

    while (position > 0) 
    { 
     int endPosition = data.IndexOf(endMarker, position); 
     int markerLength = position + strBeginMarker.Length; 

    newData += data.Substring(markerLength, endPosition - markerLength); 

    position = data.IndexOf(strBeginMarker, position+ endStr.Length); 
    } 

    writeLog(newData); 

(ध्यान दें कि मैं यह परीक्षण करने के लिए एक 150 MB फ़ाइल नहीं है - YMMV आप जिस मशीन का उपयोग कर रहे हैं उसके आधार पर)।