एक टेबल (MySQL, पायथन, Django) में हजारों रिकॉर्ड डालने का सबसे प्रभावी तरीका क्या है

Question

मेरे पास एक अद्वितीय स्ट्रिंग फ़ील्ड और कुछ पूर्णांक फ़ील्ड के साथ डेटाबेस तालिका है। स्ट्रिंग फ़ील्ड आमतौर पर 10-100 वर्ण लंबा होता है।

एक बार हर मिनट या तो मेरे पास निम्न परिदृश्य है: मुझे तालिका की रिकॉर्ड संरचना से संबंधित 2-10 हजार टुपल्स की एक सूची प्राप्त होती है, उदा।

[("hello", 3, 4), ("cat", 5, 3), ...] 

मैं मेज पर इन सभी tuples डालने की आवश्यकता (मान रहा सत्यापित इन तारों के न डेटाबेस में दिखाई देते हैं)। स्पष्टीकरण के लिए, मैं इनो डीबी का उपयोग कर रहा हूं, और मेरे पास इस तालिका के लिए एक ऑटो-वृद्धिशील प्राथमिक कुंजी है, स्ट्रिंग पीके नहीं है।

मेरे कोड वर्तमान में इस सूची के माध्यम से दोहराता है, प्रत्येक टपल के लिए उपयुक्त मान के साथ एक पायथन मॉड्यूल वस्तु बनाता है, और कहता है ".save()", तो कुछ इस तरह:

@transaction.commit_on_success 
def save_data_elements(input_list): 
    for (s, i1, i2) in input_list: 
     entry = DataElement(string=s, number1=i1, number2=i2) 
     entry.save() 

इस कोड को वर्तमान में से एक है मेरे सिस्टम में प्रदर्शन बाधाओं का, इसलिए मैं इसे अनुकूलित करने के तरीकों की तलाश में हूं।

उदाहरण के लिए, मैं 100 टुपल्स ("हार्ड-कोडेड" एसक्यूएल में) के लिए एक INSERT कमांड वाले SQL कोड उत्पन्न कर सकता हूं और इसे निष्पादित कर सकता हूं, लेकिन मुझे नहीं पता कि यह कुछ भी सुधार करेगा या नहीं।

क्या आपके पास ऐसी प्रक्रिया को अनुकूलित करने के लिए कोई सुझाव है?

धन्यवाद

Answer 1

आप प्रारूप "फ़ील्ड 1", "field2", में एक फाइल करने के लिए पंक्तियों में लिख सकते हैं .. और फिर डेटा लोड का उपयोग उन्हें

data = '\n'.join(','.join('"%s"' % field for field in row) for row in data) 
f= open('data.txt', 'w') 
f.write(data) 
f.close() 

लोड करने के लिए फिर इस पर अमल:

LOAD DATA INFILE 'data.txt' INTO TABLE db2.my_table; 

Reference

Answer 2

आपको कौन सा प्रारूप प्राप्त होता है? अगर यह एक फ़ाइल है, तो आप कुछ प्रकार के थोक लोड कर सकते हैं: http://www.classes.cs.uchicago.edu/archive/2005/fall/23500-1/mysql-load.html

Answer 3

माईएसक्यूएल के लिए विशेष रूप से, डेटा लोड करने का सबसे तेज़ तरीका LOAD DATA INFILE का उपयोग कर रहा है, इसलिए यदि आप डेटा को प्रारूप में परिवर्तित कर सकते हैं, तो यह शायद इसे टेबल में लाने का सबसे तेज़ तरीका हो।

Answer 4

आप LOAD DATA INFILE नहीं करते हैं के रूप में अन्य सुझावों में से कुछ का उल्लेख है, दो बातें आप तेजी लाने के लिए अपने आवेषण हैं कर सकते हैं:

1. उपयोग विवरण तैयार - इस एसक्यूएल पार्स करने की भूमि के ऊपर बाहर कटौती हर डालने के लिए
2. एकल लेन-देन में आपके निवेशनों को देखें करो - यह एक डीबी इंजन है कि समर्थन करता है, लेन-देन (InnoDB) की तरह
का उपयोग कर की आवश्यकता होगी

Answer 5

यदि आप एक हाथ से लुढ़का INSERT कथन कर सकते हैं, तो मैं जिस तरह से जाऊंगा। एकाधिक मूल्य खंडों वाला एक INSERT कथन व्यक्तिगत INSERT कथनों की तुलना में बहुत तेज़ है।

Answer 6

यह डीबी में डेटा के वास्तविक भार से असंबंधित है, लेकिन ...

यदि "डेटा लोड हो रहा है ... प्रदान करना लोड हो जाएगा ... लोड जल्द ही किया जाएगा" उपयोगकर्ता को संदेश का प्रकार एक विकल्प है, तो आप एक अलग थ्रेड में INSERT या LOAD डेटा को असीमित रूप से चला सकते हैं।

बस कुछ और विचार करने के लिए।

Answer 7

सम्मिलित विधि के बावजूद, आप अधिकतम पढ़ने/लिखने की सहमति के लिए इनो डीबी इंजन का उपयोग करना चाहेंगे। माईसाम सम्मिलन की अवधि के लिए पूरी तालिका को लॉक कर देगा जबकि इनो डीडी (ज्यादातर परिस्थितियों में) केवल प्रभावित पंक्तियों को लॉक करेगा, जिससे चयन कथन आगे बढ़ने की अनुमति मिल जाएगी।

Answer 8

मुझे सटीक विवरण नहीं पता है, लेकिन आप जेसन शैली डेटा प्रतिनिधित्व का उपयोग कर सकते हैं और इसे फिक्स्चर या कुछ के रूप में उपयोग कर सकते हैं। मैंने डगलस नेपोलियन द्वारा डीजेगो वीडियो वर्कशॉप पर कुछ ऐसा देखा। http://www.linux-magazine.com/online/news/django_video_workshop पर वीडियो देखें। और http://www.linux-magazine.com/online/features/django_reloaded_workshop_part_1। उम्मीद है कि यह मदद करता है।

आशा है कि आप इसे काम कर सकते हैं। मैंने अभी django सीखना शुरू किया है, इसलिए मैं आपको संसाधनों को इंगित कर सकता हूं।