बड़ी सीएसवी फाइलों के साथ काम करने के लिए प्रोग्राम

Question

क्या बड़ी सीएसवी फाइलें पढ़ने से निपटने के लिए कोई अच्छा कार्यक्रम है? मेरे द्वारा सौदा किए गए कुछ डेटाफाइल 1 जीबी रेंज में हैं। एक्सेल के साथ भी निपटने के लिए उनके पास बहुत सी रेखाएं हैं। एक्सेस का उपयोग थोड़ा धीमा हो सकता है, क्योंकि आपको वास्तव में उन्हें सीधे उनके साथ काम करने के लिए डेटाबेस में आयात करना होगा। क्या कोई ऐसा प्रोग्राम है जो बड़ी सीएसवी फाइलें खोल सकता है और डेटा को आसानी से और तेज़ी से स्कैन करने में आपकी सहायता के लिए आपको एक सरल स्प्रेडशीट लेआउट दे सकता है?

Answer 1

MySQL LOAD DATA INFILE कमांड का उपयोग कर टेबल पर बहुत जल्दी CSV फ़ाइलों को आयात कर सकता है। यह CSV storage engine का उपयोग कर, किसी भी आयात प्रक्रियाओं को छोड़कर सीएसवी फ़ाइलों से सीधे पढ़ सकता है।

LOAD DATA INFILE के साथ देशी तालिकाओं पर इसे आयात करना एक प्रारंभिक लागत है, लेकिन इसके बाद आप INSERT/UPDATE बहुत तेजी से, साथ ही सूचकांक फ़ील्ड भी कर सकते हैं। सीएसवी स्टोरेज इंजन का उपयोग करना लगभग पहले तात्कालिक है, लेकिन केवल अनुक्रमिक स्कैन तेज़ होगा।

अद्यतन: This article (शीर्षक त्वरित डेटा लोड अनुभाग तक नीचे स्क्रॉल) का उपयोग कर के बारे में बात दोनों MySQL पर लोड हो रहा है सीएसवी आंकड़ों के पास जाते है, और उदाहरण देता है।

Answer 2

vEdit इसके लिए बहुत अच्छा है। मैं नियमित रूप से 100+ मेग खोलता हूं (मुझे पता है कि आपने एक गिग तक कहा है, मुझे लगता है कि वे अपनी साइट पर विज्ञापन करते हैं, यह दो बार संभाल सकता है) इसके साथ फाइलें। इसमें regex समर्थन और अन्य सुविधाओं का भार है। 70 डॉलर उस राशि के लिए सस्ता है जो आप इसके साथ कर सकते हैं।

Answer 3

vEdit बहुत अच्छा है, लेकिन यह न भूलें कि आप हमेशा "मूल बातें" पर वापस जा सकते हैं Cygwin देखें और greping शुरू करें।

मददगार

• ग्रेप आदेश
• सिर
• पूंछ
पाठ्यक्रम पर्ल की
• !

Answer 4

जीवीआईएम उन फ़ाइलों को संभाल सकता है जो निःशुल्क हैं यदि आप एक वास्तविक स्प्रेडशीट स्थिर क्षेत्र आकार दृश्य से जुड़े नहीं हैं।

Answer 5

यह इस बात पर निर्भर करता है कि आप वास्तव में डेटा के साथ क्या करना चाहते हैं। एक बड़ी टेक्स्ट फ़ाइल को देखते हुए आप आमतौर पर किसी भी समय डेटा का एक छोटा सबसेट चाहते हैं, इसलिए उन टुकड़ों को खींचने के लिए 'grep' जैसे टूल को नज़रअंदाज़ न करें जिन्हें आप देखना चाहते हैं और साथ काम करना चाहते हैं।

Answer 6

यदि आप डेटा को मेमोरी में फिट कर सकते हैं और आपको अजगर पसंद है तो मैं Augustus के यूनीटेबल हिस्से को देखने की सलाह देता हूं। (अस्वीकरण: अगस्तस ओपन सोर्स (जीपीएलवी 2) है लेकिन मैं उस कंपनी के लिए काम करता हूं जो इसे लिखता है।)

यह बहुत अच्छी तरह से प्रलेखित नहीं है लेकिन इससे आपको जाने में मदद मिलनी चाहिए।

from augustus.kernel.unitable import * 
a = UniTable().from_csv_file('filename') 
b = a.subtbl(a['key'] == some_value) #creates a subtable 

यह सीधे आप इंटरफ़ेस की तरह एक एक्सेल नहीं देंगे लेकिन काम का एक छोटा सा के साथ तुम बाहर जल्दी से कई आंकड़े देख सकते हैं।

Answer 7

मुझे reCSVeditor बड़ी सीएसवी फाइलों को संपादित करने के लिए एक अच्छा कार्यक्रम है। अनावश्यक कॉलम को अलग करने के लिए यह आदर्श है। मैंने इसे 1,000,000 रिकॉर्ड फ़ाइलों को आसानी से फाइलों के लिए उपयोग किया है।