2011-11-17 29 views
8

के रूप में उपयोग के लिए एक अमेज़ॅन ईसी 2 क्लस्टर को स्पिन करने का सबसे आसान तरीका मैं आर में आदर्श रूप से foreach पैकेज के लिए बैकएंड का उपयोग करने के लिए अमेज़ॅन ईसी 2 मशीन का क्लस्टर शुरू करना चाहता हूं। आदर्श रूप से, मैं इसे कमांड लाइन से कर सकता हूं मेरी स्थानीय मशीन पर आर में, स्थानीय आर सत्र से रिमोट क्लस्टर में प्रासंगिक डेटा और कमांड भेजना।एक अस्थायी बैकएंड

मुझे पता है कि AWS पैकेज इस कार्य में मदद करेगा, लेकिन मुझे नहीं पता कि कमांड चलाने के बाद मुझे क्या करना है। सेगु मुझे भी रास्ते का हिस्सा लेता है, लेकिन यह foreach के लिए बैकएंड नहीं है, यह कस्टम एएमआई का समर्थन नहीं करता है, और यह वर्तमान में विंडोज का समर्थन नहीं करता है। deathstar पैकेज भी है, जिसे मैंने गहराई से नहीं देखा है।

क्या कोई और इस समस्या के समाधान के साथ आया है?

उत्तर

6

ज़ैक, सरल जवाब है कि यहां से एक सरल रास्ता नहीं है कि वहाँ के लिए :)

जब मैं Segue लिखा था मैं आशा व्यक्त की है कि किसी को जल्द ही कुछ ऐसा है जो Segue अप्रचलित हो जाएगा के साथ बाहर आने होता है। क्लाउडबर्न यह एक दिन हो सकता है, लेकिन शायद अभी तक नहीं। मैं एक foreach बैकएंड segue बनाने के साथ toyed है, लेकिन जब से मैं इसे इस तरह से उपयोग नहीं करते हैं, मेरी प्रेरणा बहुत कम कर दिया गया है समय बैकएंड का निर्माण करने के लिए कैसे जानने के लिए लेने के लिए।

चीजें हैं जो बहुत आशाजनक है, मेरी राय में से एक, अमेज़न EC2 पर कार्यकर्ताओं के साथ doRedis() पैकेज का उपयोग कर रहा है। doRedis एक Redis सर्वर का उपयोग जॉब नियंत्रक के रूप में करता है और फिर श्रमिकों को Redis सर्वर से कनेक्ट करने देता है और नौकरियां और परिणाम प्राप्त/वापस कर देता है। मैं थोड़ी देर के लिए सोच रहा था कि ईसी 2 पर डूरेडिस क्लस्टर को तैनात करने के लिए एक आसान तरीका आसान होगा। लेकिन किसी ने अभी तक एक लिखा है जिसे मैं जानता हूं।

+0

doRedis वास्तव में मैं क्या मन में था जब मैं इस सवाल का लिखा है। मैं एक अपेक्षाकृत सरल परिदृश्य को चित्रित कर रहा हूं: आप एक कस्टम "कार्यकर्ता" एएमआई बनाते हैं कि, बूटअप पर, आर शुरू होता है, एन डूरेडिस श्रमिक बनाता है, और क्या वे कर्मचारी आपके पास एक DNS पर एक रेडिस कतार में शामिल होते हैं (जैसे कि डायंडन्स से)। फिर, आपको अपनी स्थानीय मशीन पर एक आर स्क्रिप्ट चाहिए जो आपके DNS को आपकी स्थानीय मशीन पर इंगित करती है, अपनी कतार का उपयोग करके रीडिस शुरू करती है, एन वर्कर मशीन शुरू करती है, उन मशीनों के लिए कुछ कंप्यूटेशंस खेती करती है, फिर उन मशीनों को बंद कर देती है। या मैं बस इंतज़ार कर सकता हूं और आशा करता हूं कि कोई जल्द ही 'doEC2' लिखता है ... – Zach

+1

युप, जो आप वर्णन करते हैं वह है जो मैं मानसिक रूप से मंथन कर रहा हूं। मैंने अभी तक इसे अभी तक नहीं बनाया है :) –

+0

आपको मेरे प्रश्न में जोड़े गए डेथस्टार पैकेज को देखना चाहिए। यह रेडिस की बजाय जेडएमक्यू का उपयोग करता है, लेकिन यह जो हम खोज रहे हैं उसके करीब यह लगता है। – Zach

0

ऐसा लगता है कि एक एमपीआई क्लस्टर को कताई के लिए बायोकॉन्डक्टर के पास slick tool है। एक बार शुरू होने के बाद, आप क्लस्टर पर खेत की गणना के लिए मास्टर नोड पर mpi.spawn.Rslaves() और mpi.parLapply चला सकते हैं। हालांकि, मैं यह नहीं समझ सकता कि इसे doMPI के साथ कैसे काम करना है।

संबंधित मुद्दे