मेरे पास 2 सीएसवी फाइलों की तुलना करने के लिए एक उपकरण है और फिर प्रत्येक सेल को 6 बाल्टी में से एक में बाल्टी करें। असल में, यह सीएसवी फाइलों में पढ़ता है (तेज़ सीएसवी रीडर, क्रेडिट: http://www.codeproject.com/KB/database/CsvReader.aspx का उपयोग करके) और उसके बाद उपयोगकर्ता द्वारा प्रदान की गई कुंजियों के आधार पर प्रत्येक फ़ाइल से संबंधित एक शब्दकोश बनाता है। मैं फिर मूल्यों की तुलना में और परिणाम सीएसवी फ़ाइल लिखने के माध्यम से वें शब्दकोशों के माध्यम से पुनरावृत्त करता हूं।सी # शब्दकोश और कुशल मेमोरी उपयोग
हालांकि यह तेजी से चमक रहा है, यह स्मृति उपयोग के मामले में बहुत अक्षम है। मैं 3 जीबी भौतिक मेमोरी के साथ अपने बॉक्स पर 150 एमबी से अधिक फाइलों की तुलना नहीं कर सकता।
अपेक्षित फ़ाइल को पढ़ने के लिए यहां एक कोड स्निपेट है। इस टुकड़े के अंत में, मेमोरी उपयोग टास्क मैनेजर से 500 एमबी के करीब है।
// Read Expected
long rowNumExp;
System.IO.StreamReader readerStreamExp = new System.IO.StreamReader(@expFile);
SortedDictionary<string, string[]> dictExp = new SortedDictionary<string, string[]>();
List<string[]> listDupExp = new List<string[]>();
using (CsvReader readerCSVExp = new CsvReader(readerStreamExp, hasHeaders, 4096))
{
readerCSVExp.SkipEmptyLines = false;
readerCSVExp.DefaultParseErrorAction = ParseErrorAction.ThrowException;
readerCSVExp.MissingFieldAction = MissingFieldAction.ParseError;
fieldCountExp = readerCSVExp.FieldCount;
string keyExp;
string[] rowExp = null;
while (readerCSVExp.ReadNextRecord())
{
if (hasHeaders == true)
{
rowNumExp = readerCSVExp.CurrentRecordIndex + 2;
}
else
{
rowNumExp = readerCSVExp.CurrentRecordIndex + 1;
}
try
{
rowExp = new string[fieldCount + 1];
}
catch (Exception exExpOutOfMemory)
{
MessageBox.Show(exExpOutOfMemory.Message);
Environment.Exit(1);
}
keyExp = readerCSVExp[keyColumns[0] - 1];
for (int i = 1; i < keyColumns.Length; i++)
{
keyExp = keyExp + "|" + readerCSVExp[i - 1];
}
try
{
readerCSVExp.CopyCurrentRecordTo(rowExp);
}
catch (Exception exExpCSVOutOfMemory)
{
MessageBox.Show(exExpCSVOutOfMemory.Message);
Environment.Exit(1);
}
try
{
rowExp[fieldCount] = rowNumExp.ToString();
}
catch (Exception exExpRowNumOutOfMemory)
{
MessageBox.Show(exExpRowNumOutOfMemory.Message);
Environment.Exit(1);
}
// Dedup Expected
if (!(dictExp.ContainsKey(keyExp)))
{
dictExp.Add(keyExp, rowExp);
}
else
{
listDupExp.Add(rowExp);
}
}
logFile.WriteLine("Done Reading Expected File at " + DateTime.Now);
Console.WriteLine("Done Reading Expected File at " + DateTime.Now + "\r\n");
logFile.WriteLine("Done Creating Expected Dictionary at " + DateTime.Now);
logFile.WriteLine("Done Identifying Expected Duplicates at " + DateTime.Now + "\r\n");
}
क्या कुछ भी है, मैं इसे और अधिक मेमोरी कुशल बनाने के लिए कर सकता हूं? कम मैर्मरी का उपभोग करने के लिए मैं कुछ भी अलग कर सकता था?
किसी भी विचार का स्वागत है।
सभी प्रतिक्रियाओं के लिए धन्यवाद दोस्तों।
मैंने शब्दकोशों में पंक्ति के बजाय पंक्ति की अनुक्रमणिका को स्टोर करने के लिए सुझाए गए परिवर्तनों को शामिल किया है।
नए कार्यान्वयन के साथ एक ही कोड खंड है।
// Read Expected
long rowNumExp;
SortedDictionary<string, long> dictExp = new SortedDictionary<string, long>();
System.Text.StringBuilder keyExp = new System.Text.StringBuilder();
while (readerCSVExp.ReadNextRecord())
{
if (hasHeaders == true)
{
rowNumExp = readerCSVExp.CurrentRecordIndex + 2;
}
else
{
rowNumExp = readerCSVExp.CurrentRecordIndex + 1;
}
for (int i = 0; i < keyColumns.Length - 1; i++)
{
keyExp.Append(readerCSVExp[keyColumns[i] - 1]);
keyExp.Append("|");
}
keyExp.Append(readerCSVExp[keyColumns[keyColumns.Length - 1] - 1]);
// Dedup Expected
if (!(dictExp.ContainsKey(keyExp.ToString())))
{
dictExp.Add(keyExp.ToString(), rowNumExp);
}
else
{
// Process Expected Duplicates
string dupExp;
for (int i = 0; i < fieldCount; i++)
{
if (i >= fieldCountExp)
{
dupExp = null;
}
else
{
dupExp = readerCSVExp[i];
}
foreach (int keyColumn in keyColumns)
{
if (i == keyColumn - 1)
{
resultCell = "duplicateEXP: '" + dupExp + "'";
resultCell = CreateCSVField(resultCell);
resultsFile.Write(resultCell);
comSumCol = comSumCol + 1;
countDuplicateExp = countDuplicateExp + 1;
}
else
{
if (checkPTColumns(i + 1, passthroughColumns) == false)
{
resultCell = "'" + dupExp + "'";
resultCell = CreateCSVField(resultCell);
resultsFile.Write(resultCell);
countDuplicateExp = countDuplicateExp + 1;
}
else
{
resultCell = "PASSTHROUGH duplicateEXP: '" + dupExp + "'";
resultCell = CreateCSVField(resultCell);
resultsFile.Write(resultCell);
}
comSumCol = comSumCol + 1;
}
}
if (comSumCol <= fieldCount)
{
resultsFile.Write(csComma);
}
}
if (comSumCol == fieldCount + 1)
{
resultsFile.Write(csComma + rowNumExp);
comSumCol = comSumCol + 1;
}
if (comSumCol == fieldCount + 2)
{
resultsFile.Write(csComma);
comSumCol = comSumCol + 1;
}
if (comSumCol > fieldCount + 2)
{
comSumRow = comSumRow + 1;
resultsFile.Write(csCrLf);
comSumCol = 1;
}
}
keyExp.Clear();
}
logFile.WriteLine("Done Reading Expected File at " + DateTime.Now + "\r\n");
Console.WriteLine("Done Reading Expected File at " + DateTime.Now + "\r\n");
logFile.WriteLine("Done Analyzing Expected Duplicates at " + DateTime.Now + "\r\n");
Console.WriteLine("Done Analyzing Expected Duplicates at " + DateTime.Now + "\r\n");
logFile.Flush();
हालांकि, समस्या यह है कि मुझे स्मृति में डेटा सेट दोनों की आवश्यकता है। मैं वास्तव में कुंजी के आधार पर मिलान, मेलमिच, डुप्लिकेट और ड्रॉपआउट की तलाश करने वाले दोनों शब्दकोशों के माध्यम से पुन: प्रयास करता हूं।
पंक्ति अनुक्रमणिका को संग्रहीत करने के इस दृष्टिकोण का उपयोग करके, मैं अभी भी बहुत मेमोरी का उपयोग कर रहा हूं क्योंकि गतिशील पहुंच के लिए मुझे अब सीएसवी रीडर के कैश संस्करण का उपयोग करना है। तो हालांकि शब्दकोश अब बहुत छोटा है, डेटा की कैशिंग बचत के लिए तैयार होती है और मैं अभी भी इसी तरह के स्मृति उपयोग के साथ समाप्त हुआ।
आशा है, मैं के रूप में तेजी से अर्थ निकालने कर रहा हूँ ... :)
एक विकल्प 2 फ़ाइलों के माध्यम से पूरी तरह से और बस पाश शब्दकोश से छुटकारा पाने के लिए है, लेकिन यकीन नहीं करता है, तो प्रदर्शन किया जाएगा 2 की तुलना के रूप में शब्दकोशों।
किसी भी इनपुट की बहुत सराहना की जाती है।
सीएसवी रीडर को कैश करने के बजाए, क्या आप फ़ाइल में रिकॉर्ड स्थानों को कैश नहीं कर सकते हैं, ताकि आप बाद में रिकॉर्ड प्राप्त कर सकें? जब आप कुंजीपटल के माध्यम से ड्रॉपआउट आदि की तलाश में शब्दकोशों के माध्यम से पुनरावृत्त करते हैं तो क्या आप वास्तविक डेटा या केवल चाबियाँ देख रहे हैं? –
क्या आपने शब्दकोश में जाने से पहले स्ट्रिंग को इंटर्न करने का प्रयास किया था? क्या इससे कोई फर्क पड़ता है? क्या इनमें से किसी ने स्मृति उपयोग के साथ मदद की है? –