43
मैं बड़ी यादृच्छिक संख्याओं का उपयोग कुंजी के रूप में कर रहा हूं (किसी अन्य सिस्टम से आ रहा है)। काफी छोटे (जैसे कुछ मिलियन पंक्तियों में) टेबल पर सम्मिलन और अपडेट उचित लगता है उससे काफी लंबा समय ले रहा है।MySQL InnoDB इतना धीमा क्यों है?
मैंने चित्रण करने के लिए एक बहुत ही सरल परीक्षण डिस्टिल्ड किया है। परीक्षण तालिका में मैंने इसे यथासंभव सरल बनाने की कोशिश की है; मेरे वास्तविक कोड में इतना आसान लेआउट नहीं है और इसमें संबंध और अतिरिक्त सूचकांक हैं। हालांकि, एक सरल सेटअप बराबर प्रदर्शन दिखाता है।
यहाँ परिणाम हैं:
creating the MyISAM table took 0.000 seconds
creating 1024000 rows of test data took 1.243 seconds
inserting the test data took 6.335 seconds
selecting 1023742 rows of test data took 1.435 seconds
fetching 1023742 batches of test data took 0.037 seconds
dropping the table took 0.089 seconds
creating the InnoDB table took 0.276 seconds
creating 1024000 rows of test data took 1.165 seconds
inserting the test data took 3433.268 seconds
selecting 1023748 rows of test data took 4.220 seconds
fetching 1023748 batches of test data took 0.037 seconds
dropping the table took 0.288 seconds
MyISAM में डालने 1M पंक्तियां 6 सेकंड लेता है; इनो डीबी में 3433 सेकंड लेता है!
मैं क्या गलत कर रहा हूं? गलत कॉन्फ़िगर किया गया क्या है?
यहाँ परीक्षण कोड है (MySQL चूक के साथ एक सामान्य Ubuntu स्थापना है):
import sys, time, random
import MySQLdb as db
# usage: python script db_username db_password database_name
db = db.connect(host="127.0.0.1",port=3306,user=sys.argv[1],passwd=sys.argv[2],db=sys.argv[3]).cursor()
def test(engine):
start = time.time() # fine for this purpose
db.execute("""
CREATE TEMPORARY TABLE Testing123 (
k INTEGER PRIMARY KEY NOT NULL,
v VARCHAR(255) NOT NULL
) ENGINE=%s;"""%engine)
duration = time.time()-start
print "creating the %s table took %0.3f seconds"%(engine,duration)
start = time.time()
# 1 million rows in 100 chunks of 10K
data = [[(str(random.getrandbits(48)) if a&1 else int(random.getrandbits(31))) for a in xrange(10*1024*2)] for b in xrange(100)]
duration = time.time()-start
print "creating %d rows of test data took %0.3f seconds"%(sum(len(rows)/2 for rows in data),duration)
sql = "REPLACE INTO Testing123 (k,v) VALUES %s;"%("(%s,%s),"*(10*1024))[:-1]
start = time.time()
for rows in data:
db.execute(sql,rows)
duration = time.time()-start
print "inserting the test data took %0.3f seconds"%duration
# execute the query
start = time.time()
query = db.execute("SELECT k,v FROM Testing123;")
duration = time.time()-start
print "selecting %d rows of test data took %0.3f seconds"%(query,duration)
# get the rows in chunks of 10K
rows = 0
start = time.time()
while query:
batch = min(query,10*1024)
query -= batch
rows += len(db.fetchmany(batch))
duration = time.time()-start
print "fetching %d batches of test data took %0.3f seconds"%(rows,duration)
# drop the table
start = time.time()
db.execute("DROP TABLE Testing123;")
duration = time.time()-start
print "dropping the table took %0.3f seconds"%duration
test("MyISAM")
test("InnoDB")
> इसके लिए आपके मानक देखने में रुचि होगी! माईसाम: स्वत: वृद्धि कुंजी के साथ एक टेबल बनाना और फिर यादृच्छिक कुंजी फ़ील्ड में एक इंडेक्स जोड़ना लगभग उतना तेज़ है जितना जल्दी पहले यादृच्छिक फ़ील्ड के साथ तालिका बना रहा है; सभी 8 सेकंड के तहत। इनो डीबी: ऑटो-वृद्धि प्राथमिक कुंजी के साथ डालने से 54 सेकंड लगते हैं। फिर उस यादृच्छिक क्षेत्र पर एक इंडेक्स बनाना तो 214 सेकंड लेता है।धीमा, लेकिन * बड़े पैमाने पर * यादृच्छिक कुंजी के साथ डालने से तेज़ * तेज। – Will
पॉल, अनुक्रमिक कुंजी के प्रदर्शन और लाभ के बारे में सामान्य प्रश्न: क्या इससे कोई फर्क नहीं पड़ता कि जब तक वे अभी भी क्रम में हैं तब तक कुंजी में अंतर हैं? यानी: 1, 5 10, 500, 1234, 7800 इत्यादि। मैंने चाबियों के लाभों पर बहुत सारी सामग्री पढ़ी है, लेकिन अगर अनुक्रमिक "केवल आरोही क्रम में (संभावित अंतराल के साथ) का अर्थ है, तो अनिश्चित हूं, या अगर अनुक्रमिक मतलब अंतराल नहीं है। उत्सुक क्योंकि यह एक बहु-सर्वर कुंजी जनरेशन सिस्टम से संबंधित है जिसका मैं उपयोग कर रहा हूं, जिसे मैं स्टैक ओवरफ्लो प्रश्न # 6338956 में बात करता हूं। धन्यवाद। – YeB
यादृच्छिक कुंजी प्रविष्टियां इतनी धीमी हैं कि इनओडीबी एक प्राथमिक प्राथमिक कुंजी इंडेक्स के साथ पंक्ति डेटा का विशाल यादृच्छिक पूल रखने के बजाय प्राथमिक कुंजी क्रम में पंक्तियां संग्रहीत करता है। इसका अर्थ यह है कि यदि आप आईडी = 1 के साथ एक रिकॉर्ड (केवल) रिकॉर्ड करते हैं और आईडी = 10 के साथ एक और रिकॉर्ड, दोनों पंक्तियों के लिए डेटा को साइड-बाय-साइड संग्रहित किया जाता है। यदि आप आईडी = 5 के साथ एक रिकॉर्ड डालते हैं, तो InnoDB को आईडी = 10 के लिए डेटा को पूरे आईडी = 5 रिकॉर्ड को तालिका में रखने के तरीके से बाहर ले जाना है। ऐसा कई बार करें और आप पाएंगे कि * बहुत सारे डेटा स्थानांतरित हो जाते हैं-आसपास * बहुत * बार। यादृच्छिक कुंजी के साथ आप इसके बारे में कुछ भी नहीं कर सकते हैं। –