2012-01-11 10 views
58

कई परियोजनाओं में हमें सरल माप मूल्यों का संग्रह, कुल मूल्यांकन करना होगा। एक पंक्ति में आमतौर पर एक समय टिकट, एक मूल्य और मूल्य के कुछ गुण होते हैं। कुछ अनुप्रयोगों में हम प्रति सेकंड 1000 मूल्यों को स्टोर करना चाहते हैं। इन मानों को न केवल डाला जाना चाहिए बल्कि उसी दर पर भी हटाया जाना चाहिए, क्योंकि मूल्य का जीवनकाल एक वर्ष तक सीमित है (विभिन्न एकत्रीकरण चरणों में, हम पूरे वर्ष 1000/एस स्टोर नहीं करते हैं)।क्या समय श्रृंखला डेटा के लिए एक शक्तिशाली डेटाबेस सिस्टम है?

अब तक, हमने विभिन्न समाधान विकसित किए हैं। एक फायरबर्ड पर आधारित, ओरेकल पर एक और कुछ स्वयं निर्मित स्टोरेज तंत्र पर आधारित है। लेकिन इनमें से कोई भी बहुत संतोषजनक समाधान नहीं है।

आरडीबीएमएस समाधान दोनों वांछित डेटा प्रवाह को संभाल नहीं सकते हैं। इसके अलावा, मान प्रदान करने वाले अनुप्रयोग (जैसे डिवाइस ड्राइवर) डेटाबेस से आसानी से संलग्न नहीं किए जा सकते हैं, सम्मिलित विवरण बोझिल हैं। और अंत में, डेटा के लिए एक एसक्यूएल इंटरफ़ेस होने के बावजूद दृढ़ता से वांछित है, सामान्य मूल्यांकन एसक्यूएल में तैयार करना और निष्पादन में धीमा होना मुश्किल है। जैसे पिछले महीने के दौरान सभी मापों के लिए 15 मिनट प्रति टाइम स्टैंप के साथ अधिकतम मूल्य पाएं।

स्वयं निर्मित समाधान सम्मिलन दर को संभाल सकता है और इसमें क्लाइंट-फ्रेंडली एपीआई है, लेकिन इसमें एक क्वेरी भाषा की तरह कुछ भी नहीं है और कुछ मानक इंटरफ़ेस के माध्यम से अन्य अनुप्रयोगों द्वारा इसका उपयोग नहीं किया जा सकता है। रिपोर्टिंग के लिए।

  • बहुत तेजी से प्रविष्टि के लिए एक API
  • उसी गति
  • एक प्रदान करता है में दूर करने के लिए/मूल्यों काटना में सक्षम है है:

    मेरे सपनों में सबसे अच्छा समाधान एक डेटाबेस प्रणाली है कि हो सकता है विशिष्ट समय श्रृंखला डेटा के लिए विशिष्ट समर्थन के साथ मानक एसक्यूएल इंटरफ़ेस

क्या आप कुछ डेटाबेस जानते हैं जो उन आवश्यकताओं के निकट आते हैं या आप किसी भिन्न समस्या से संपर्क करेंगे मार्ग?

+0

तेज़ और सुविधाजनक (इन-स्मृति) आप [ 'pandas'] (http://pandas.sourceforge.net/) की कोशिश कर सकते प्रसंस्करण के लिए तेजी से आईओ के लिए - [' PyTables'] (http://www.pytables.org/moin)। – jfs

+0

इसके अलावा आप स्टारकॉन्टर को आजमा सकते हैं। यह एक विंडोज सर्वर 2008 पर प्रति सेकंड कुछ मिलियन एसक्यूएल अनुरोधों को संभाल सकता है। यह अभी भी बंद बीटा में है, लेकिन यह अब कुछ समय के लिए बहुत बड़ी स्थापनाओं पर उत्पादन में चल रहा है। एक प्रति प्राप्त करने के लिए एक ईमेल पर्याप्त होना चाहिए। –

+0

मेरे पास एक समान है, यदि समान प्रश्न नहीं है जो ऑफ़-विषय के रूप में बंद था, तो मैंने इसे यहां स्थानांतरित किया: http://softwarerecs.stackexchange.com/questions/18302/database-for-large-volume-of- मेट्रिक्स-की-वैल्यू-टाइमस्टैम्प – aep

उत्तर

37

अधिकतर अन्य उत्तर SQL आधारित डेटाबेस का उल्लेख करते हैं। इस प्रकार की चीज़ पर नोएसक्यूएल आधारित डेटाबेस बहुत बेहतर हैं।

कुछ खुला स्रोत समय श्रृंखला डेटाबेस:

क्लाउड-आधारित:

+0

पर उपलब्ध है क्या आपने कॉलम उन्मुख डेटाबेस को देखा है? – hellomichibye

+1

विकिपीडिया एक सिंहावलोकन प्रदान करता है: https://en.wikipedia.org/wiki/Time_series_database#Example_TSDB_Systems – koppor

+3

ईरोल एक पूरी सूची प्रदान करता है: http://www.erol.si/2015/01/the-complete-list-of- ऑल-टाइम्सरी-डाटाबेस-फॉर-यू-आईट-प्रोजेक्ट/ – koppor

1

एसक्यूएल सर्वर StreamInsight

Microsoft StreamInsight BOL

+0

संकेत के लिए धन्यवाद। StreamInsight दिलचस्प लगता है और इसकी जांच करनी है। सबसे अच्छा, मैं समझने के बाद, यह SQL सर्वर में शामिल है? मेरी चिंता: संग्रहण अभी भी SQL सर्वर में है। क्या यह अनुरोधित डेटा प्रवाह को संभालने में सक्षम होगा? StreamInsight दस्तावेज़ों का कहना है कि यह "अधिकतम समय" में 100000 घटनाओं/एस को संभाल सकता है लेकिन इसे किसी प्रकार की बफरिंग का संदर्भ लेना चाहिए। स्थिर राज्य दर क्या है? –

+0

भंडारण की गति आपके हार्डवेयर पर निर्भर करती है; पर्याप्त खर्च करें और आप प्रति सेकंड 17.2GBytes प्राप्त कर सकते हैं !! एक अच्छा 1.2 जीबी RAID सरणी –

-5

बस समय के अलावा, mysql आधार तालिका में नमूना: माह से TABLE_NAME संग्रह तालिका: table_name_2011_01, ... table_name_2011_11

+4

क्षमा करें, वैली, मुझे वह नहीं मिलता जो आप कहना चाहते हैं। –

2

पर विचार के साथ आईबीएम Informix गतिशील सर्वर TimeSeries डेटाब्लेड।

हालांकि, यह एक चरम डेटा दर है जिसके साथ आप काम कर रहे हैं। (काफी नहीं CERN में उप परमाणु भौतिकी, लेकिन यह है कि सामान्य दिशा में आगे बढ़ पर निर्भर है।)


मेले प्रकटीकरण: मैं आईबीएम इन्फोर्मिक्स डीबीएमएस पर के लिए, TimeSeries DataBlade दर असल पर नहीं है, हालांकि काम करते हैं।

0

जैसा कि जोनाथन लेफ्लर ने कहा, आपको इनफॉर्मिक्स टाइम्सरीज़ सुविधा का प्रयास करना चाहिए। यह बिना किसी अतिरिक्त शुल्क के इनफॉर्मिक्स के सभी संस्करणों में शामिल है।आप TimeSeries कार्यों का समर्थन करता है पर एक नज़र ले जा सकते हैं:

IBM Informix Time series SQL routines

आप एसक्यूएल कार्यों या आभासी दृश्य इंटरफेस के माध्यम से डेटा का उपयोग कर सकते हैं, तो आप भी दृश्य में सम्मिलित कर सकते।

1

आप समय श्रृंखला डेटा के लिए एचडीएफ 5 आज़मा सकते हैं। यह ऐसे अनुप्रयोगों के लिए बेहद तेज़ है।

+1

एचडीएफ 5 एक भंडारण प्रारूप प्रतीत होता है। क्या आप समय श्रृंखला डेटा के संदर्भ में उपयोग पर थोड़ा और विस्तार कर सकते हैं? – koppor

+0

एचडीएफ 5 पर आधारित एक अजगर लाइब्रेरी https://github.com/afiedler/tstables – koppor

8

influxdb :: एक खुला स्रोत कोई बाहरी निर्भरता के साथ वितरित समय श्रृंखला डेटाबेस।

+5

यह तब तक वितरित नहीं किया जाता जब तक आप $$$ का भुगतान नहीं करते (https://docs.influxdata.com/influxdb/v1.0/high_available/clusters/) –

संबंधित मुद्दे