थोक डेटा को MySQL में कॉपी करें (System.Data.SqlClient.SqlBulkCopy के समान)

Question

मैं अपने प्रोग्राम को माइक्रोसॉफ्ट एसक्यूएल सर्वर से MySQL में माइग्रेट कर रहा हूं। थोक प्रतिलिपि के साथ एक मुद्दा को छोड़कर सबकुछ अच्छी तरह से काम करता है।

एमएस एसक्यूएल के साथ समाधान में कोड इस तरह दिखता है:

connection.Open(); 
SqlBulkCopy bulkCopy = new SqlBulkCopy(connection); 
bulkCopy.DestinationTableName = "testTable"; 
bulkCopy.WriteToServer(rawData); 

अब मैं MySQL के लिए इसी तरह के कुछ करने के लिए प्रयास करें। क्योंकि मुझे लगता है कि खराब प्रदर्शन होगा मैं डेटाटेबल को CSV फ़ाइल में लिखना नहीं चाहता हूं और MySqlBulkLoader कक्षा के साथ वहां से सम्मिलित करना चाहता हूं।

किसी भी मदद की अत्यधिक सराहना की जाएगी।

Answer 1

क्योंकि मुझे लगता है कि खराब प्रदर्शन होगा, मैं डेटाटेबल को CSV फ़ाइल में लिखना नहीं चाहता हूं और MySQLBulkLoader क्लास के साथ वहां से सम्मिलित करना चाहता हूं।

निष्पक्ष धारणाओं के आधार पर संभावित समाधान को नकारें। मैंने System.Data.DataTable से Transaction के अंदर मानक MySqlDataAdapter#Update() का उपयोग करके एक MySQL तालिका में 100,000 पंक्तियों के सम्मिलन का परीक्षण किया। यह लगातार चलाने के बारे में 30 सेकंड ले लिया:

using (MySqlTransaction tran = conn.BeginTransaction(System.Data.IsolationLevel.Serializable)) 
{ 
    using (MySqlCommand cmd = new MySqlCommand()) 
    { 
     cmd.Connection = conn; 
     cmd.Transaction = tran; 
     cmd.CommandText = "SELECT * FROM testtable"; 
     using (MySqlDataAdapter da = new MySqlDataAdapter(cmd)) 
     { 
      da.UpdateBatchSize = 1000; 
      using (MySqlCommandBuilder cb = new MySqlCommandBuilder(da)) 
      { 
       da.Update(rawData); 
       tran.Commit(); 
      } 
     } 
    } 
} 

(मैं UpdateBatchSize के लिए अलग मान के एक जोड़े की कोशिश की लेकिन वे बीता हुआ समय पर एक महत्वपूर्ण प्रभाव है लगता नहीं था।)

तक इसके विपरीत, MySqlBulkLoader का उपयोग कर निम्नलिखित कोड (का उपयोग कर चलाने के लिए केवल 5 या 6 सेकंड ...

string tempCsvFileSpec = @"C:\Users\Gord\Desktop\dump.csv"; 
using (StreamWriter writer = new StreamWriter(tempCsvFileSpec)) 
{ 
    Rfc4180Writer.WriteDataTable(rawData, writer, false); 
} 
var msbl = new MySqlBulkLoader(conn); 
msbl.TableName = "testtable"; 
msbl.FileName = tempCsvFileSpec; 
msbl.FieldTerminator = ","; 
msbl.FieldQuotationCharacter = '"'; 
msbl.Load(); 
System.IO.File.Delete(tempCsvFileSpec); 

... समय एक अस्थायी CSV फ़ाइल में DataTable से 100,000 पंक्तियों डंप करने के लिए सहित ले लिया this के समान कोड), उस फ़ाइल से थोक लोडिंग, और फ़ाइल को बाद में हटाया जा रहा है।