2010-06-22 11 views
22

इसलिए मुझे अंत में पता चला है कि मेरी आर स्क्रिप्ट को अमेज़ॅन ईसी 2 क्लाउड पर चलाने के लिए कैसे प्राप्त किया जाए। मैं 26 ईसीयू, 8 कोर, और 69 गीगा रैम के साथ एएमआई का उपयोग कर रहा हूं।मैं उच्च मेमोरी, उच्च सीपीयू सर्वर का लाभ कैसे ले सकता हूं?

मैं फिर अपने कोड को कई स्क्रिप्ट में विभाजित करता हूं, और आर के उदाहरण में प्रत्येक को चलाता हूं। इस आकार के सर्वर के साथ, मैं आसानी से 20-40 स्क्रिप्ट चला सकता हूं, प्रत्येक 1000 सिमुलेशन चला रहा है।

मैं क्या जानना चाहता हूं कि क्या आर इस कंप्यूटिंग शक्ति का मूल रूप से लाभ उठा रहा है। क्या मुझे ऐसे पैकेज इंस्टॉल करना चाहिए जो विशेष रूप से आर को यह अतिरिक्त मेमोरी/एकाधिक CPU का उपयोग करने के लिए कहें? मैंने यह page देखा है और कुछ packages (कम से कम विवरण से) आशाजनक प्रतीत होता है। लेकिन मैं यह समझने में असमर्थ हूं कि इसे मेरे कोड में कैसे शामिल किया जाए। क्या कोई इस पर अधिक प्रकाश डाल सकता है?

उत्तर

18

आप में ट्यूटोरियल के साथ उच्च-प्रदर्शन कंप्यूटिंग के परिचय के लिए उदाहरण देख सकते हैं जिनमें से कुछ संस्करण this page पर हैं।

एकाधिक कोर का उपयोग करने का सबसे तेज़ तरीका (उत्कृष्ट) multicore पैकेज है, तो आपके पास वहां मौजूद राम के ऊपरी भाग का लाभ उठाने के लिए कुछ खास नहीं होना चाहिए। multicoreforeach में doMC के माध्यम से संबंध रखता है, लेकिन आप निश्चित रूप से mclapply() फ़ंक्शन का उपयोग सीधे कर सकते हैं।

+1

धन्यवाद एक प्रकार की कटार से अमेज़न के सेवाओं तक पहुँचने के लिए और अधिक परिपक्व प्रसाद कर रहे हैं क्योंकि। मैं अपनी प्रस्तुतियों के माध्यम से अपनी दोपहर पढ़ने के लिए खर्च करूँगा। चियर्स! – Maiasaura

16

Dirk की टिप्पणियां w.r.t multicore/foreach/doMC पर स्पॉट हैं।

यदि आप हजारों सिमुलेशन कर रहे हैं तो आप अमेज़ॅन के लोचदार मानचित्र कम (ईएमआर) सेवा पर विचार करना चाहेंगे। जब मैं आर में अपने सिमुलेशन स्केल करना चाहता था, मैंने विशाल ईसी 2 उदाहरणों और मल्टीकोर पैकेज (जैसे आप की तरह!) के साथ शुरू किया। यह अच्छी तरह से चला गया लेकिन मैं एक ईसी 2 बिल का नरक भाग गया। मुझे वास्तव में उस रैम की ज़रूरत नहीं थी, फिर भी मैं इसके लिए भुगतान कर रहा था। और मेरी नौकरियां 3 बजे खत्म हो जाएंगी, तो मैं 8 बजे तक कार्यालय में नहीं जाऊंगा इसलिए मैंने 5 घंटों तक भुगतान किया जिसकी मुझे आवश्यकता नहीं थी।

तब मुझे पता चला कि मैं ईएमआर सेवा का उपयोग 50 सस्ते छोटे हडोप उदाहरणों को आग लगाने के लिए कर सकता हूं, मेरे सिमुलेशन चला सकता हूं, और फिर उन्हें स्वचालित रूप से बंद कर देता हूं! मैंने पूरी तरह से ईसी 2 पर अपने सिम्स चलाने के लिए छोड़ दिया है और अब लगभग विशेष रूप से ईएमआर का उपयोग करें। यह इतना अच्छा काम करता है कि मेरी फर्म ईएमआर को हमारी आवधिक सिमुलेशन गतिविधि को माइग्रेट करने के तरीकों का परीक्षण शुरू कर रही है।

यहां एक blog post लिखा गया है जब मैंने पहली बार ईसी 2 पर मल्टीकोर का उपयोग करना शुरू किया था। तब जब मैंने पाया कि मैं अमेज़ॅन ईएमआर के साथ ऐसा कर सकता हूं तो मैंने follow up post लिखा था।

संपादित करें: इस पोस्ट के बाद से मैं समानांतर कार्यान्वयन कार्यों के लिए आर के साथ ईएमआर का उपयोग करना आसान बनाने के लिए एक पैकेज पर काम कर रहा हूं। मैंने प्रोजेक्ट Segue and it's on Google Code नाम दिया है।

इसके अलावा अद्यतन: मैं पदावनत Segue के बाद से है वहाँ ज्यादा बेहतर और कहा कि उत्कृष्ट संसाधन के लिए आर

+0

धन्यवाद जेडी। मेरा ईसी 2 टैब बहुत अधिक चल रहा है इसलिए मैं निश्चित रूप से ईएमआर में देखूंगा। – Maiasaura

+0

यदि आप ईएमआर के साथ किसी भी स्नैग को हिट करते हैं तो सुनिश्चित करें और स्टैक ओवरव्लो में फॉलो अप प्रश्न पूछें। सौभाग्य! –

संबंधित मुद्दे