2012-04-14 15 views
6

वहाँ एक परियोजना जो सेटअप में मदद करता है कार्यालय डेस्कटॉप पर एक Hadoop क्लस्टर है, जब वे निष्क्रिय हैं चल रहा है?कार्यालय के कंप्यूटर पर Hadoop सॉफ्टवेयर (जब वे निष्क्रिय हैं)

मैं हडोप/एमआर/हबेस के साथ प्रयोग करना चाहता हूं लेकिन 5-10 कंप्यूटरों पर acces नहीं है। काम पर कंप्यूटर घंटों के बाद निष्क्रिय होते हैं और एक बहुत ही तेज गति कनेक्शन के माध्यम से एक-दूसरे से जुड़े होते हैं। और भी, इन कंप्यूटरों पर डेटा हमारे नेटवर्क के भीतर रहता है इसलिए कोई गोपनीयता समस्या नहीं है।

आदेश में इस बात के लिए मैं एक काफी हल्के वजन पर नजर रखने के लिए प्रत्येक मशीन पर चल जरूरत है काम करने के लिए। जब कंप्यूटर एक्स घंटों के लिए निष्क्रिय रहता है, तो यह क्लस्टर में शामिल हो जाएगा। यदि उपयोगकर्ता लॉग ऑन करता है, तो उसे क्लस्टर से बाहर निकलना होगा और सभी सीपीयू/मेमोरी वापस लौटना होगा।

मौजूद कुछ इस तरह है?

+0

मैं अत्यधिक अमेज़न एडब्ल्यूएस/लचीला की सिफारिश वर्जीनिया टेक परियोजना चंद्रमा पर एक नज़र लेने के लिए चाहते हो सकता है मानचित्र छोटा करना। आप जल्दी से शक्तिशाली शक्तिशाली हडोप क्लस्टर स्थापित कर सकते हैं। – Suman

उत्तर

3

आप निष्क्रिय स्थिति का पता लगाने के लिए कार्य शेड्यूलर का उपयोग कर सकते हैं और उसके बाद वर्चुअल बॉक्स या vmplayer के साथ हैडॉप वीएम प्रारंभ/बंद कर सकते हैं। या आप एक पावरहेल स्क्रिप्ट लिख सकते हैं जो संसाधन उपयोग के आधार पर स्टार्ट स्टॉप करता है।

+0

वाह, मुझे नहीं पता था कि विंडोज शेड्यूलर निष्क्रिय समय के संबंध में शेड्यूल कर सकता है! दूसरों को खोजने के मा इस उपयोगी: http://www.microsoft.com/resources/documentation/windows/xp/all/proddocs/en-us/agent_idle_time.mspx?mfr=true – Shahbaz

+0

हम किसी भी संदर्भ या लिंक है जहां हम कर सकते हैं प्रत्येक डेस्कटॉप में वर्चुअल बॉक्स को स्थापित और उपयोग करें जिसमें 4 गीगा रैम और सेटअप हैडोप क्लस्टर है। यह एक अच्छी प्रयोगात्मक प्रयोगशाला होगी। कोई विचार या विचार? –

1

हैडोप एक गणना ग्रिड नहीं है, यह एक अधिक डेटा ग्रिड है (this presentation में स्लाइड 9 देखें)। मुद्दा यह है कि हैडऑप के साथ कि क्लस्टर पर डेटा फैल गया है और इस प्रकार डेटा को कंप्यूटर पर संग्रहीत किया जाना है। जब डेटा निष्क्रिय नहीं होता है, तो डेटा को प्रतिलिपि बनाने/निकालने का समय शायद इसके लायक नहीं होगा - आप क्लाउड (अमेज़ॅन, एज़ूर इत्यादि) में हडूप का उपयोग करना बेहतर होगा।

+0

मैं डेटा को हटा नहीं पाऊंगा। जब कंप्यूटर का उपयोग मानव द्वारा किया जा रहा है, तो नोड को बंद करना मतलब है कि मैं अस्थायी रूप से हडूप क्लस्टर से नोड को हटा दूंगा। जब कंप्यूटर हडूप के लिए उपलब्ध होता है, तो नोड शुरू हो जाएगा और क्लस्टर में फिर से जुड़ जाएगा। – Shahbaz

0

देखें NEREUS तरह समाधान जो जावा

में एक अच्छा एमपीसी समाधान
+0

धन्यवाद ग्रूवेक। मेरे पास पहले से ही मेरे विश्वविद्यालय (greedy.epfl.ch) पर एक समान समाधान है। जो मैं खोज रहा हूं वह हैडोप कार्यान्वयन है। – Renaud

1

है मैं कोंडोर की तरह कुछ का प्रयोग करेंगे: http://research.cs.wisc.edu/condor/

+0

धन्यवाद हेलोवेबस्टर। मेरे पास पहले से ही मेरे विश्वविद्यालय (greedy.epfl.ch) में एक कोंडोर समाधान है। यह बहुत अच्छा है, लेकिन मैं कुछ एचडीएफएस की तरह उपयोग करना चाहता हूं, इसलिए मैं एक हडोप कार्यान्वयन की तलाश में हूं। – Renaud

+0

आप शायद कोंडोर नौकरियों में [तोता वर्चुअल फ़ाइल सिस्टम] (http://ccl.cse.nd.edu/software/parrot/) का उपयोग कर सकते हैं। – mhucka

1
+0

क्या उनकी प्रणाली वर्जीनिया टेक के बाहर उपलब्ध है? मैं इसे ... – Renaud

+0

रेनॉड, आप अपनी उपलब्ध है कि क्या जांच करने के लिए परियोजना चंद्रमा वू-चुन फेंग http://people.cs.vt.edu/~feng/ की लीड पीआई संपर्क करना चाहें डाउनलोड करने के लिए एक लिंक नहीं मिला डाउनलोड के लिए – fjxx

संबंधित मुद्दे