यूनिक्स SQLite

Question

में बड़ी CSV आयात कर रहा है मैं (, यह भी एक sas datafile जैसे कि यह आसान होगा) एक 5gig csv फ़ाइल है जो मैं एक SQL डेटाबेस में डाल करने की आवश्यकता है तो मैं आर

में

इसके साथ काम कर सकते हैं चर नाम सभी पहली अवलोकन रेखा में निहित हैं और दोहरे उद्धृत हैं। संख्यात्मक अन्य वर्णों में से कुछ 1000+ चर हैं (हालांकि कुछ चरित्र चर अंक की तार हैं, लेकिन मैं इसके बारे में बहुत चिंतित नहीं हूं मैं इसे आर में ठीक कर सकता हूं)।

मेरा सवाल यह है कि मैं सीएसवी फ़ाइल को न्यूनतम डेटाबेस के साथ अपने डेटाबेस में एक नई तालिका में कैसे आयात कर सकता हूं?

मुझे आपकी तालिका पहले बनाने के लिए कह रही चीजें मिली हैं (जिसमें सभी चर निर्दिष्ट करना शामिल है, जिनमें से 1000+ है) और फिर डेटा लाने के लिए ".import फ़ाइल तालिका" का उपयोग करना। या, कुछ gui आयात विज़ार्ड का उपयोग करने के लिए, जो मेरे लिए एक विकल्प नहीं है।

क्षमा करें अगर यह एसक्यूएल 101 है लेकिन मदद के लिए धन्यवाद।

Answer 1

यहाँ मेरी कार्यप्रवाह है। यदि आप इस सूची को प्रदान नहीं करते हैं तो RSQLite शीर्षलेख से अनुमान लगाएगा। इंडेक्स की आवश्यकता नहीं है, लेकिन बाद में आपके प्रश्नों को तेज कर देगा (यदि आप अपने प्रश्नों के लिए सही कॉलम इंडेक्स करते हैं)।

मैं एसओ पर यहां बहुत सारी चीज़ें सीख रहा हूं, इसलिए यदि आप SQLite पर मेरे प्रश्न पूछे/उत्तर देते हैं, तो आपको कुछ टैगिक सामग्री मिल सकती है।

Answer 2

sqldf पैकेज में "read.csv.sql" फ़ंक्शन देखें।

यह एक सीएसवी फ़ाइल को SQLite डेटाबेस में परिवर्तित करता है, फिर इसे आर में पढ़ता है, तो आप अपने उद्देश्यों के लिए इंटरमीडिएट डेटाबेस को रखने में सक्षम होना चाहिए।

library("RSQLite") 
setwd("~/your/dir") 
db <- dbConnect(SQLite(), dbname="your_db.sqlite") ## will make, if not present 
field.types <- list(
     date="INTEGER", 
     symbol="TEXT", 
     permno="INTEGER", 
     shrcd="INTEGER", 
     prc="REAL", 
     ret="REAL") 
dbWriteTable(conn=db, name="your_table", value="your_file.csv", row.names=FALSE, header=TRUE, field.types=field.types) 
dbGetQuery(db, "CREATE INDEX IF NOT EXISTS idx_your_table_date_sym ON crsp (date, symbol)") 
dbDisconnect(db) 

field.types आवश्यक नहीं है: