नियमित अभिव्यक्ति का उपयोग कर फ़ाइल में पढ़ें?

Question

यह स्पर्शरेखीय an earlier question of mine.

से संबंधित है अनिवार्य रूप से, कि प्रश्न में समाधान महान काम किया, लेकिन अब मैं एक बहुत बड़ा विश्लेषण आवेदन में काम करने के लिए यह अनुकूल करने के लिए की जरूरत है। बस StreamReader.ReadToEnd() का उपयोग स्वीकार्य नहीं है, क्योंकि कुछ फाइलें जो मैं पढ़ रहे हों, वे बहुत बड़ी हैं। अगर कोई गलती हुई है और कोई साफ करने के लिए भूल गया है, तो वे सैद्धांतिक रूप से गीगाबाइट बड़े हो सकते हैं। जाहिर है, मैं सिर्फ इसके अंत तक नहीं पढ़ सकता।

दुर्भाग्यवश, सामान्य पठन लाइन भी स्वीकार्य नहीं है, क्योंकि डेटा की कुछ पंक्तियों में मैं पढ़ रहा हूं जिसमें स्टैक निशान शामिल हैं - वे स्पष्ट रूप से /r/n का उपयोग अपने प्रारूपण में करते हैं। आदर्श रूप से, मैं कार्यक्रम को आगे पढ़ने के लिए बताना चाहता हूं जब तक कि यह एक रेगेक्स के लिए एक मैच हिट नहीं करता है, जो उसके बाद आता है। .NET में ऐसा करने के लिए कोई कार्यक्षमता है? यदि नहीं, तो क्या मुझे कुछ सुझाव मिल सकते हैं कि मैं इसे लिखने के बारे में कैसे जाऊं?

संपादित करें: यह थोड़ा आसान मेरे सवाल का पालन करने के लिए करने के लिए यहां अनुकूलित कोड के महत्वपूर्ण भागों में से कुछ की एक पेस्ट है:

foreach (var fileString in logpath.Select(log => new StreamReader(log)).Select(fileStream => fileStream.ReadToEnd())) 
{ 
    const string junkPattern = @"\[(?<junk>[0-9]*)\] \((?<userid>.{0,32})\)"; 
    const string severityPattern = @"INFO|ERROR|FATAL"; 
    const string datePattern = "^(?=[0-9]{4}-[0-9]{2}-[0-9]{2} [0-9]{2}:[0-9]{2}:[0-9]{2},[0-9]{3})"; 
    var records = Regex.Split(fileString, datePattern, RegexOptions.Multiline); 
    foreach (var record in records.Where(x => string.IsNullOrEmpty(x) == false)) 
    ...... 

समस्या Foreach में निहित है। .Select(fileStream => fileStream.ReadToEnd()) मेमोरी बुरी तरह से उड़ाएगा, मुझे बस पता है।

Answer 1

सबसे पहले, आपको कक्षा की घोषणा में अपनी कॉन्स परिभाषा को स्थानांतरित करना चाहिए - संकलक आपके लिए ऐसा करेगा, लेकिन यह बेहतर कोड पठनीयता के लिए ही किया जाना चाहिए।

@Blam उल्लेख किया है, आप इस तरह StringBuilder और जोड़ी में StreamReader.ReadLine, कुछ का उपयोग करना चाहिए:

foreach(var filePath in logpath) 
{ 
    var sbRecord = new StringBuilder(); 
    using(var reader = new StreamReader(filePath)) 
    { 
     do 
     { 
      var line = reader.ReadLine(); 
      // check start of the new record lines 
      if (Regex.Match(line, datePattern) && sbRecord.Length > 0) 
      { 
       // your method for log record 
       HandleRecord(sbRecord.ToString()); 
       sbRecord.Clear(); 
       sbRecord.AppendLine(line); 
      } 
      // if no lines were added or datePattern didn't hit 
      // append info about current record 
      else 
      { 
       sbRecord.AppendLine(line); 
      } 
     } while (!reader.EndOfStream) 
    } 
} 

मैं अपनी समस्या के बारे में कुछ समझ में नहीं आया, तो टिप्पणी में यह स्पष्ट करें।
इसके अलावा, आप अपने आवेदन की गति के लिए, अपनी लाइनों के कार्यों को शेड्यूल करने के लिए ThreadPool का उपयोग कर सकते हैं।