मैं उत्पादन वातावरण में छोटे/सरल REST वेब प्रश्नों का एक टन चलाने के लिए एक वितरित सेटअप बनाना चाहता हूं। प्रत्येक 5-10 से संबंधित प्रश्नों के लिए जिन्हें नोड से निष्पादित किया जाता है, मैं व्युत्पन्न डेटा की एक बहुत छोटी राशि उत्पन्न करूंगा, जिसे मानक संबंधपरक डेटाबेस (जैसे PostgreSQL) में संग्रहीत करने की आवश्यकता होगी।कई सरल नेटवर्क कार्यों को वितरित करने के लिए समाधान?
इस प्रकार की समस्या के लिए कौन से प्लेटफ़ॉर्म बनाए गए हैं? प्रकृति, डेटा आकार और मात्रा हडोप की मानसिकता के विपरीत प्रतीत होती है। कंडोर और सन ग्रिड इंजन जैसे अधिक ग्रिड आधारित आर्किटेक्चर भी हैं, जिन्हें मैंने उल्लेख किया है। मुझे यकीन नहीं है कि क्या इन प्लेटफार्मों में त्रुटियों से कोई वसूली हुई है (हालांकि कोई नौकरी सफल हो रही है या नहीं)।
मुझे वास्तव में क्या पसंद आएगा एक फीफो प्रकार कतार है जिसे मैं अपने डेटाबेस के अद्यतन होने के अंतिम परिणाम के साथ नौकरियां जोड़ सकता हूं।
नौकरी के लिए सबसे अच्छे उपकरण पर कोई सुझाव?
एक (मालिकाना) निगरानी कार्यक्रम के समान लगता है जो मैं समाप्त कर रहा हूं। यह कई यूआरएल से समय-समय पर कॉन्फ़िगर करने योग्य अंतराल पर डाउनलोड करता है, परिणाम पोस्ट करता है और परिणामों को PostgreSQL डेटाबेस में सहेजता है। मैंने इसे एक एकल सी ++ प्रोग्राम के रूप में कार्यान्वित किया जो डाउनलोड नौकरियों की प्राथमिकता कतार बनाए रखता है (वास्तव में एक std :: नक्शा क्योंकि निगरानी अक्षम होने पर नौकरियों को निकालने की आवश्यकता होती है) और डाउनलोड करने के लिए libcurl का उपयोग करता है। मैंने मुख्य रूप से परिणामों को घुमाने के लिए संबोधित नहीं किया है क्योंकि निगरानी कार्यक्रम और डेटाबेस एक ही सर्वर पर रहते हैं। मैंने वास्तव में एक मंच का उपयोग नहीं किया था, इसलिए +1 :-) –