आईपीथॉन नोटबुक (बोके)

Question

में बड़े डेटासेट प्लॉटिंग मेरे पास एक बड़ा डेटासेट है जिसे मैं आईपीथन नोटबुक में प्लॉट करना चाहता हूं।

मैंने read_csv का उपयोग करते हुए ~ 0.5GB .csv फ़ाइल को पांडस DataFrame में पढ़ा है, इसमें लगभग दो मिनट लगते हैं। फिर मैं इस डेटा को साजिश करने की कोशिश करता हूं।

data = pd.read_csv('large.csv') 
output_notebook() 
p1 = figure() 
p1.circle(data.index, data['myDataset']) 
show(p1) 

मेरा ब्राउज़र स्पिन करता है और मुझे कोई प्लॉट नहीं दिखाता है। circle()

को source तर्क के रूप में एक ColumnSource वस्तु का उपयोग कर अधिक प्रबंधनीय कुछ करने के लिए अपने डेटा downsampling

1. output_file() बजाय output_notebook()
2. ग्राफ़िंग: मैं निम्नलिखित की कोशिश की है।

बोके ने अपनी वेबसाइट पर "बहुत बड़े या स्ट्रीमिंग डेटासेट पर उच्च प्रदर्शन अंतःक्रियाशीलता" प्रदान करने का दावा किया है। मैं अपने कंप्यूटर को बिना रुकावट के पीसने के इन बड़े डेटासेट को कैसे कल्पना करूं?

Answer 1

प्रश्न किसी भी विशिष्ट कोड सुझाव देने के लिए बहुत व्यापक है। मैं उत्सुक होगा कि आपके द्वारा किए गए डाउनसमलिंग का आकार क्या था। बोके के लिए डिफ़ॉल्ट HTML कैनवास निश्चित रूप से हजारों मंडलियों को समायोजित कर सकता है। वहाँ कुछ ही विकल्प हैं:

• सरल scatters और अंक लाखों की लाइनों के लिए, वहाँ एक WebGL बैकएंड कि उपयोगी हो सकता है है।

  http://bokeh.pydata.org/en/latest/docs/user_guide/webgl.html

• Bokeh सर्वर का उपयोग कर, यह प्रतिपादन से पहले डेटा downsample करने के लिए एक Bokeh एप्लिकेशन पैदा करते हैं। कुछ एप्लिकेशन उदाहरण यहां हैं:

  https://github.com/bokeh/bokeh/tree/master/examples/app

• DataShader पुस्तकालय बड़े डेटा सेट के downsampling प्रदर्शन करने के लिए इस्तेमाल किया जा सकता है, और Bokeh साथ बहुत अच्छी तरह से एकीकृत करता है। डेटाशैडर को 350 मिलियन प्वाइंट यूएस जनगणना डेटा सेट पर here, starting at about 54:00 का प्रदर्शन/वर्णन किया गया है।