मैं कुछ ऐसा ढूंढ रहा हूं जो क्लस्टर पर शर्मनाक समानांतर जेवीएम कोड चलाने के लिए आसान बनाता है (ताकि मैं क्लोजर + इंकेंटर का उपयोग कर सकूं)।जेवीएम (शर्मनाक) समांतर प्रसंस्करण पुस्तकालय/उपकरण
मैंने अतीत में समानांतर पायथन का उपयोग किया है। हमारे पास एक नया पीबीएस क्लस्टर है और हमारा व्यवस्थापक जल्द ही आईपीथन नोड्स स्थापित करेगा जो पीबीएस का बैकएंड के रूप में उपयोग करेगा। इन दोनों प्रणालियों में क्लस्टर में कुछ प्रकार के कोड चलाने के लिए लगभग कोई ब्रेनर नहीं होता है।
मैंने अतीत में हडोप का उपयोग करने की गलती की है (हैडोप सिर्फ मेरे द्वारा उपयोग किए जाने वाले डेटा के अनुकूल नहीं है) - विलंबता ने 1-2 मिनट तक भी छोटे रन बनाए।
क्या जेपीपीएफ या ग्रिडगेन की आवश्यकता है जो मुझे चाहिए? क्या यहां किसी के पास कोई अनुभव है? क्या आप कुछ और सिफारिश कर सकते हैं? पर Skandium
संपादित
वादा करता है, लेकिन जीपीएल गधे में दर्द है। –