सेलेरी: समवर्ती और आरक्षित कार्यों के साथ कार्यकर्ता केवल 1 कार्य

Question

मेरे कोड में कुछ कार्यों को निष्पादित करने में लंबा और लंबा समय लग रहा था।

निरीक्षण पर मैंने देखा कि हालांकि मेरे पास मेरे कार्यकर्ता नोड को 6 कार्य करने के लिए सेट किया गया है, और 6 प्रक्रियाएं 'काम करने' के लिए मौजूद हैं, लेकिन केवल 1 कार्य 'चल रहे कार्यों' के अंतर्गत दिखाया गया है।

यहाँ कर रहे हैं कार्यकर्ता विकल्प::

और यहाँ है केवल 1 चल प्रक्रिया के साथ कि कार्यकर्ता के लिए कार्य टैब:

यह एक छोटा सा दृश्य सबूत है मैंने पाया है कि अगर मैं अजवाइन को फिर से शुरू करता हूं, तो समेकन को एक बार फिर सम्मानित किया जाता है और मैं> 1 चल रहा कार्य देखता हूं, लेकिन कुछ समय/कार्यों के बाद यह इस व्यवहार पर वापस आ जाता है ..

इस अड़चन समस्या को ठीक करने के लिए कोई विचार?

Answer 1

मुझे यकीन नहीं है कि यह आपका उपयोग मामला है, लेकिन जब मैं लंबे और छोटे कार्यों का मिश्रण करता था तो मैं इसी तरह की समस्याओं में भाग गया। असल में क्या हुआ यह है कि किसी बिंदु पर एक प्रक्रिया बहुत लंबे समय तक चलने वाली कार्य शुरू कर सकती है, जबकि कुछ अन्य कार्यों को प्रीफेच करते हुए, उन्हें अन्य प्रक्रियाओं से उपभोग करने से रोकती है। इसलिए मैंने प्रीफेचिंग सामान को अक्षम कर दिया, जो केवल तभी उपयोगी होता है जब आप बहुत सारे छोटे कार्य चला रहे हों।

प्रीफ़ेच अक्षम करने के लिए, आप अजवाइन 3.1+ और Ofair setting जरूरत है, उदाहरण के लिए:

celery -A proj worker -l info -Ofair