सी # अनुकूलन: डेटाबेस

Question

में 200 मिलियन पंक्तियों सम्मिलित करना मैं जो मैं गति के लिए अनुकूलित करना चाहते हैं निम्नलिखित (सरलीकृत) कोड:

long inputLen = 50000000; // 50 million 
DataTable dataTable = new DataTable(); 
DataRow dataRow; 
object[] objectRow; 
while (inputLen--) 
{ 
    objectRow[0] = ... 
    objectRow[1] = ... 
    objectRow[2] = ... 

    // Generate output for this input 
    output = ... 

    for (int i = 0; i < outputLen; i++) // outputLen can range from 1 to 20,000 
    { 
     objectRow[3] = output[i]; 
     dataRow = dataTable.NewRow(); 
     dataRow.ItemArray = objectRow; 
     dataTable.Rows.Add(dataRow); 
    } 
} 

// Bulk copy 
SqlBulkCopy bulkTask = new SqlBulkCopy(connection, SqlBulkCopyOptions.TableLock, null); 
bulkTask.DestinationTableName = "newTable"; 
bulkTask.BatchSize = dataTable.Rows.Count; 
bulkTask.WriteToServer(dataTable); 
bulkTask.Close(); 

मैं पहले से ही सब कुछ तेज़ करने की कोशिश में SqlBulkCopy उपयोग कर रहा हूँ , लेकिन ऐसा लगता है कि डेटाटेबल को मान असाइन करना धीमा साबित होता है।

मुझे नहीं पता कि डेटाटेबल्स कैसे काम करते हैं, इसलिए मुझे आश्चर्य है कि क्या मैं पहले पुन: प्रयोज्य सरणी बनाकर अनावश्यक ओवरहेड बना रहा हूं, फिर इसे डेटारो में असाइन कर रहा हूं, फिर डेटाटेव को डेटाटेबल जोड़ रहा हूं? या डेटाटेबल का उपयोग पहली जगह इष्टतम नहीं है? इनपुट डेटाबेस से आता है।

मुझे बस, बस गति के बारे में ज्यादा परवाह नहीं है। क्या कोई इस पर कुछ सलाह दे सकता है?

Answer 1

इतनी बड़ी मेज के लिए, आप के बजाय

public void WriteToServer(IDataReader reader) 

विधि का उपयोग करना चाहिए।

इसका मतलब यह हो सकता है कि आपको अपने कोड के साथ खुद को "नकली" IDataReader इंटरफ़ेस लागू करना होगा (यदि आपको मौजूदा IDataReader से डेटा नहीं मिलता है), लेकिन इस तरह, आपको "स्ट्रीमिंग" अंत से अंत तक, और 200 मिलियन पाश से बच जाएगा।

Answer 2

आपको स्मृति में संपूर्ण डेटाटेबल का निर्माण नहीं करना चाहिए। WrtieToServer के overload का उपयोग करें, जो DataRow की सरणी लेता है। बस अपने डेटा में भाग विभाजित करें।

Answer 3

स्मृति में एक विशाल डेटा तालिका रखने के बजाय, मैं IDataReader को लागू करने का सुझाव दूंगा जो थोक प्रतिलिपि के रूप में डेटा को प्रस्तुत करता है। यह सब कुछ स्मृति में आगे रखने की आवश्यकता को कम करेगा, और इस प्रकार प्रदर्शन में सुधार करने के लिए काम करना चाहिए।