जाँच हो रही है एक बड़ी CSV फ़ाइल (1m पंक्तियाँ) एक MySQL तालिका

Question

मैं एक तरह से कुशलतापूर्वक MySQL डेटाबेस के साथ एक CSV फ़ाइल सामग्री की तुलना करने को खोजने के लिए कोशिश कर रहा हूँ (1 लाख से अधिक पंक्तियों तुलना करने के लिए) के रूप में एक ही डेटा है कि क्या, मैं मैंने सभी पंक्तियों को सरणी में रखने से पहले कुछ समान किया है लेकिन यह स्मृति अधिभार के कारण पंक्तियों की एक छोटी संख्या के लिए काम करेगा।

मेरे सवाल है, वहाँ ऐसा करने के लिए एक recommendable तरीका है? कोई पुस्तकालय या कुछ जो मदद कर सकता है?

मैं अपने जवाब appretiate होगा।

Answer 1

मान लीजिए कि यह एक सैनिटी चेक है और आप 0 मतभेदों का लक्ष्य रखते हैं, डेटाबेस को उसी प्रारूप की एक CSV फ़ाइल के रूप में डंप करने और फिर कमांड लाइन टूल्स (diff या cmp) का उपयोग करके यह जांचने के लिए कि वे मेल खाते हैं ?

आपको यह सुनिश्चित करना होगा कि आपका सीएसवी डंप आदेश दिया गया है & पाठ्यक्रम की मूल फ़ाइल के समान स्वरूपित है।

Answer 2

इसके अलावा @ therefromhere उत्कृष्ट जवाब है, तो आप भी एक हैश गणना कर सकते हैं, MySQL में और मूल फ़ाइल में दोनों और फिर दो की तुलना करें।

Answer 3

मैं इसे कभी नहीं अपने आप को कोशिश की, लेकिन MySQL एक सीएसवी तालिका प्रकार है। आप MySQL फ़ाइल को सीधे पढ़ने में सक्षम हो सकते हैं जैसे कि यह सिर्फ एक और डेटाबेस तालिका थी। आपको शायद एक खाली तालिका बनाने की आवश्यकता होगी जो आपके पास सीएसवी फ़ाइल से मेल खाती है, बस डेटा निर्देशिका में .frm फ़ाइल बनाई गई है। फिर आप अपनी सीएसवी फ़ाइल के साथ डेटा निर्देशिका में खाली .csv फ़ाइल को प्रतिस्थापित कर सकते हैं। आपको एक मरम्मत तालिका चलाने की आवश्यकता हो सकती है क्योंकि आपने आयात नहीं किया था।

http://dev.mysql.com/doc/refman/5.1/en/csv-storage-engine.html