2012-04-27 12 views
6

मैं वर्तमान में बड़े डेटा सेट को संभालने का एक तरीका ढूंढ रहा हूं।बड़े डेटा कंटेनर के लिए कोई मानक है?

ऐसा लगता है कि stxxl अक्सर समाधान की सिफारिश की जाती है, हालांकि मुझे निर्णय लेने से पहले इसके बारे में अधिक जानने की आवश्यकता है।

सवाल

  1. है STXXL पूरी तरह से मंच तटस्थ है?

  2. कोई विकल्प?

  3. बड़ी डेटा लाइब्रेरी के बारे में कोई भी मानक?

+9

बड़ा कितना बड़ा है? – GManNickG

+4

[STXXL प्रकाशन] (http://algo2.iti.kit.edu/dementiev/files/TRKA2005_18.pdf) में कुछ बेंचमार्क डेटा शामिल हैं। हालांकि, मुझे कहना है कि मुझे स्केलेबिलिटी विश्लेषण गुम है। –

उत्तर

1

1) मैंने व्यक्तिगत रूप से विंडोज और लिनक्स दोनों पर इसका प्रयास किया है, और ऐसा कोई कारण नहीं है कि इसे मैक पर संकलित नहीं किया जाना चाहिए। मुझे नहीं पता कि तटस्थ द्वारा आपका क्या मतलब है।

2) टीपीआईई, एलईडीए-एसएम आदि जैसे विकल्प हैं जो अब विकसित नहीं हुए हैं। मुझे लगता है कि एसटीओक्सएल आपकी सबसे अच्छी शर्त है क्योंकि यह पीडीएम (समांतर डिस्क मॉडल) का समर्थन करता है।

+0

@GManNickG 2 जीबी ~ 50 जीबी? इस सवाल पर ध्यान केंद्रित करें 'कौन सा कंटेनर सबसे अच्छा प्रदर्शन दिखाता है, यदि डेटा सेट को मुख्य मेमोरी (4 जीबी ~ 16 जीबी) के x2 ~ x5 की आवश्यकता होती है, और 1TB ~ को कवर करने की स्केलेबिलिटी द्वितीयक समस्या है। एक बेंचमार्क जिसका मेरा मतलब था, हाल ही के पुस्तकालयों की संख्या के बीच तुलना थी। (ऐसा लगता है कि बहुत सारे विकल्प नहीं हैं ...) 1) 'तटस्थ' का अर्थ है 'मंच स्वतंत्र' और आपका उत्तर मेरे प्रश्न के लिए पर्याप्त था। धन्यवाद! 2) ऐसा लगता है कि stxxl व्यापक रूप से स्वीकार किया जाता है। – user1360513

संबंधित मुद्दे