मैं एक फ़ाइल को कुशलता से कैसे अनुक्रमित कर सकता हूं?

Question

मैं ऐसे एप्लिकेशन से निपट रहा हूं जिसमें संभावित रूप से बड़ी टेक्स्ट फ़ाइलों (~ 3 + जीबी) की श्रृंखला से पाठ की पूरी पंक्ति को यादृच्छिक रूप से पढ़ना आवश्यक है।

रेखाएं एक अलग लंबाई का हो सकती हैं।

आदेश GC को कम करने और, मैं में प्रदान की जाती समाधान का उपयोग कर रहा अनावश्यक तार बनाने के लिए: Is there a better way to determine the number of lines in a large txt file(1-2 GB)? प्रत्येक नई लाइन का पता लगाने और एक पास इसलिए lineNo => position यानी के एक सूचकांक के उत्पादन में स्टोर नक्शे में:

// maps each line to it's corresponding fileStream.position in the file  
List<int> _lineNumberToFileStreamPositionMapping = new List<int>(); 

1. जब एक new line वेतन वृद्धि lineCount का पता लगाने और जोड़ने पूरी फ़ाइल
2. के माध्यम से जाने fileStream.Position_lineNumberToFileStreamPositionMapping
को

हम तो के लिए इसी तरह एक API का उपयोग करें:

public void ReadLine(int lineNumber) 
{ 
    var getStreamPosition = _lineNumberToFileStreamPositionMapping[lineNumber]; 
    //... set the stream position, read the byte array, convert to string etc. 
} 

यह समाधान वर्तमान में एक अच्छा प्रदर्शन प्रदान कर रहा है लेकिन वहाँ दो चीजें हैं मुझे पसंद नहीं है:

1. के बाद से मैं नहीं जानता फ़ाइल में लाइनों की कुल संख्या, मैं array को पूर्वस्थापित नहीं कर सकता इसलिए मुझे List<int> का उपयोग करना होगा जिसमें वास्तव में मुझे जो चाहिए उसे दोहराए जाने का आकार बदलने की संभावित अक्षमता है;
2. मेमोरी उपयोग, इसलिए ~ 1 जीबी की पाठ फ़ाइल के लिए उदाहरण के रूप में ~ 5 मिलियन लाइनों के पाठ के साथ उदाहरण के लिए सूचकांक ~ 150 एमबी है, मैं वास्तव में जितना संभव हो उतना कम करना चाहता हूं।

किसी भी विचार की बहुत सराहना की जाती है।

Answer 1

1. क्षमता को मैन्युअल रूप से बढ़ाने के लिए List.Capacity का उपयोग करें, शायद हर 1000 लाइनें या तो।

2. यदि आप स्मृति के लिए प्रदर्शन करना चाहते हैं, तो आप यह कर सकते हैं: प्रत्येक पंक्ति की स्थिति को संग्रहीत करने के बजाय, केवल 100 वीं (या कुछ) रेखा की स्थिति को स्टोर करें। फिर, कहें, लाइन 253 की आवश्यकता है, लाइन 200 की स्थिति पर जाएं और 53 लाइनों की गिनती करें।