पांडा 0.13.1
1) नं http://pandas.pydata.org/pandas-docs/dev/io.html#notes-caveats उपयोग करने के लिए अपडेट किया गया। करने के कई तरीके हैं, उदाहरण के लिए अपने अलग धागे/प्रक्रियाओं को गणना परिणाम लिखते हैं, फिर एक प्रक्रिया को गठबंधन करें।
2) आपके द्वारा संग्रहीत डेटा के प्रकार के आधार पर, आप इसे कैसे करते हैं, और आप कैसे पुनर्प्राप्त करना चाहते हैं, एचडीएफ 5 काफी बेहतर प्रदर्शन प्रदान कर सकता है। एक HDFStore में एक सरणी के रूप में भंडारण, फ्लोट डेटा, संपीड़ित (दूसरे शब्दों में, इसे प्रारूप में संग्रहीत करने वाले प्रारूप में संग्रहीत नहीं किया जाता है), अद्भुत तेज़/संग्रहीत किया जाएगा। यहां तक कि तालिका प्रारूप में संग्रहित करना (जो लेखन प्रदर्शन को धीमा करता है), काफी अच्छा लेखन प्रदर्शन प्रदान करेगा। आप कुछ विस्तृत तुलनाओं के लिए इसे देख सकते हैं (जो HDFStore हुड के तहत उपयोग करता है)। 
(और PyTables 2.3 प्रश्नों अब इंडेक्स किए गए के बाद से), तो पर्फ़ वास्तव में आप प्रदर्शन के किसी भी प्रकार चाहते हैं तो, आपके सवाल का जवाब देना ज्यादा इस तुलना में बेहतर है, HDF5 है: http://www.pytables.org/, यहाँ एक अच्छी तस्वीर है जाने के लिए रास्ता।
लेखन:
In [14]: %timeit test_sql_write(df)
1 loops, best of 3: 6.24 s per loop
In [15]: %timeit test_hdf_fixed_write(df)
1 loops, best of 3: 237 ms per loop
In [16]: %timeit test_hdf_table_write(df)
1 loops, best of 3: 901 ms per loop
In [17]: %timeit test_csv_write(df)
1 loops, best of 3: 3.44 s per loop
In [18]: %timeit test_sql_read()
1 loops, best of 3: 766 ms per loop
In [19]: %timeit test_hdf_fixed_read()
10 loops, best of 3: 19.1 ms per loop
In [20]: %timeit test_hdf_table_read()
10 loops, best of 3: 39 ms per loop
In [22]: %timeit test_csv_read()
1 loops, best of 3: 620 ms per loop
पढ़ना और यहाँ कोड
import sqlite3
import os
from pandas.io import sql
In [3]: df = DataFrame(randn(1000000,2),columns=list('AB'))
<class 'pandas.core.frame.DataFrame'>
Int64Index: 1000000 entries, 0 to 999999
Data columns (total 2 columns):
A 1000000 non-null values
B 1000000 non-null values
dtypes: float64(2)
def test_sql_write(df):
if os.path.exists('test.sql'):
os.remove('test.sql')
sql_db = sqlite3.connect('test.sql')
sql.write_frame(df, name='test_table', con=sql_db)
sql_db.close()
def test_sql_read():
sql_db = sqlite3.connect('test.sql')
sql.read_frame("select * from test_table", sql_db)
sql_db.close()
def test_hdf_fixed_write(df):
df.to_hdf('test_fixed.hdf','test',mode='w')
def test_csv_read():
pd.read_csv('test.csv',index_col=0)
def test_csv_write(df):
df.to_csv('test.csv',mode='w')
def test_hdf_fixed_read():
pd.read_hdf('test_fixed.hdf','test')
def test_hdf_table_write(df):
df.to_hdf('test_table.hdf','test',format='table',mode='w')
def test_hdf_table_read():
pd.read_hdf('test_table.hdf','test')
पाठ्यक्रम YMMV के
है।
मुझे लगता है कि यह प्रश्न शायद विषय के बजाय रचनात्मक नहीं है, लेकिन मैं इस बारे में नहीं सोच सकता कि इसे विषय पर कैसे किया जाना चाहिए (मैंने कोशिश की और छोड़ दिया)। Tweaked अगर खुशी से फिर से खोलने और ऊपर उठाने के लिए वोट देंगे। –
एचडीएफ 5 के प्रदर्शन की तलाश करते हुए बस यह सवाल मिला। मुझे लगता है कि सवाल उपयोगी है। मैंने इसे दोहराया और फिर से खोलने के लिए मतदान किया। – Datageek