अतीत में मैं MySQL पर चल रहे ओलाप क्यूब्स का उपयोग करके वेबएनालिटिक्स का निर्माण करता था। अब एक ओलाप क्यूब जिस तरह से मैंने इसका इस्तेमाल किया है वह बस एक बड़ी मेज है (ठीक है, यह उससे थोड़ा अधिक स्मार्ट संग्रहित किया गया था) जहां प्रत्येक पंक्ति मूल रूप से माप का माप या माप का कुल सेट होता है। प्रत्येक माप में आयामों का एक समूह होता है (यानी कौन सा पेगेनेम, उपयोगकर्ता, आईपी, आदि) और मूल्यों का एक समूह (यानी कितने पृष्ठदृश्य, कितने आगंतुक, आदि)।क्या ओएलएपी बिगटेबल में किया जा सकता है?
प्रश्नों है कि आप इस तरह एक मेज पर चलने आमतौर पर फार्म (मेटा-एसक्यूएल) के होते हैं:
SELECT SUM(hits), SUM(bytes),
FROM MyCube
WHERE date='20090914' and pagename='Homepage' and browser!='googlebot'
GROUP BY hour
तो तुम उल्लेख किया फिल्टर के साथ चयनित दिन के प्रत्येक घंटे के लिए योग मिलता है। एक झगड़ा यह था कि इन क्यूब्स आमतौर पर एक पूर्ण टेबल स्कैन (विभिन्न कारणों) का मतलब था और इसका मतलब आकार (एमआईबी में) पर व्यावहारिक सीमा थी, आप इन चीजों को बना सकते थे।
मैं वर्तमान में हडोप और पसंदों के इन्स और आउट सीख रहा हूं।
बिगटेबल पर मैप्रिडस के रूप में उपर्युक्त क्वेरी को चलाने में आसान लग रहा है: बस 'घंटा' कुंजी बनाएं, मानचित्र में फ़िल्टर करें और मानों को जोड़कर कम करें।
क्या आप बैच के बजाय 'वास्तविक समय' (यानी उपयोगकर्ता इंटरफ़ेस के माध्यम से उपयोगकर्ता को अपना उत्तर ASAP प्राप्त कर सकते हैं) में एक बिगटेबल प्रकार की प्रणाली पर ऊपर दिखाया गया है (या कम से कम उसी आउटपुट के साथ) मोड?
यदि नहीं; BigTable/Hadoop/HBase/Hive और पसंद के क्षेत्र में ऐसा कुछ करने के लिए उचित तकनीक क्या है?
zohmg sugegstion के लिए धन्यवाद। उनकी वेबसाइट के मुताबिक: "मूल विचार योग को पूर्व-गणना करना और उन्हें एक कुशल तरीके से स्टोर करना है"। मेरा विचार डेटा के एक सेट के साथ शुरू करना है और उस पल में उपयोगकर्ताओं की जरूरतों के आधार पर कुल मिलाकर है। –
आप पूर्ववर्ती करना चाहते हैं ताकि आयामों के प्रत्येक अद्वितीय संयोजन के लिए आपके पास अधिकतम एक पंक्ति हो; रन-टाइम एकत्रीकरण तब घन के उपयुक्त क्रॉस-सेक्शन को रोल करने का सवाल है। ज़ोमग आपके लिए रास्ता कैसे इंगित कर सकता है कि यह कैसे करें। मुझे कम से कम एक विज्ञापन नेटवर्क पता है जो हाइपरटेबल या एचबीज़ का उपयोग अपने ग्राहकों के लिए रीयल-टाइम डैशबोर्डिंग करने के लिए करता है, इसलिए यह करने योग्य है। – SquareCog
ज़ोमग अब छोड़ दिया गया है। – rjha94