सेलेरी प्रसारण बनाम RabbitMQ fanout

Question

मैं हाल ही में सेलेरी के साथ काम कर रहा हूं और मुझे यह पसंद नहीं है। यह विन्यास गन्दा, जटिल और खराब दस्तावेज है।

मैं एक निर्माता से सेलेरी के साथ कई उपभोक्ताओं तक प्रसारण संदेश भेजना चाहता हूं। मुझे क्या भ्रमित करता है Celery शर्तों और अंतर्निहित परिवहन RabbitMQ के बीच विसंगति है।

RabbitMQ में आप एक एकल fanout Exchange और अधिक संदेशों का प्रसारण करने के कतार हो सकता है:

लेकिन अजवाइन में शर्तों सब अव्यवस्थित हैं: यहाँ आप एक broadcast Queue, जो कई के लिए संदेश भेजता है हो सकता है उपभोक्ताओं:

मैं भी समझ में नहीं आता, कैसे अजवाइन प्रसारण कतार बिल्कुल काम माना जाता है, कारण कई उपभोक्ताओं के साथ RabbitMQ कतार लोड संतुलन के लिए हैं। तो RabbitMQ में यदि एकाधिक उपभोक्ता (यानी उपभोक्ताओं का एक पूल) एक ही कतार से जुड़े होते हैं, तो केवल एक उपभोक्ता संदेश प्राप्त करेगा और संसाधित करेगा, which is called round robin in RabbitMQ docs।

इसके अलावा, प्रसारण पर सेलेरी दस्तावेज वास्तव में अपर्याप्त है। ब्रॉडकास्ट कतार, fanout या नहीं के लिए मैं किस प्रकार के RabbitMQ एक्सचेंज निर्दिष्ट करना चाहिए? क्या आप एक पूर्ण उदाहरण दे सकते हैं?

तो, मैं जो पूछ रहा हूं वह है (1) सेलरी में ब्रॉडकास्ट कतारों की अवधारणा और कार्यान्वयन की स्पष्टीकरण और (2) ब्रॉडकास्ट कतार कॉन्फ़िगरेशन का एक संपूर्ण उदाहरण है। धन्यवाद।

Answer 1

क्या इससे मदद मिलती है?
http://celery.readthedocs.org/en/latest/userguide/routing.html#exchanges-queues-and-routing-keys

ऐसा प्रतीत होता है ताकि आप Exchange('fanout') विनिमय प्रकार के शीर्ष पर एक अजवाइन कतार, जो कई RabbitMQ कतारों का एक अंतर्निहित कार्यान्वयन होगा परिभाषित कर सकते हैं अजवाइन में 'कतार' परिभाषा विनिमय शामिल है।

इस मामले में मुझे लगता है कि आप सेलेरी कॉन्फ़िगरेशन में 'प्रसारण' कतार नहीं चाहते हैं, जब तक कि आप वास्तव में एक ही कार्य को संसाधित करने वाले एकाधिक श्रमिकों को नहीं चाहते हैं।

Answer 2

कोड (यह, kombu.common पैकेज में नहीं celery) को देखा और इसे बाहर की कोशिश की है, इसे इस तरह काम करने के लिए लगता है:

• आप एक Broadcast 'कतार' में 'foo' नाम को परिभाषित अपने अजवाइन विन्यास।
• यह एक Exchange नाम 'foo', और एक विशिष्ट आईडी के साथ एक auto_delete कतार (uuid के माध्यम से) बनाता है, और उर्फ ​​'foo' के साथ (मुझे नहीं लगता कि उर्फ ​​वास्तव में कहीं भी प्रयोग किया जाता है है, यह संदर्भ के लिए बस नहीं है क्योंकि कतार का असली नाम बेतरतीब ढंग से उत्पन्न होता है)
• अद्वितीय कतार 'foo' विनिमय के लिए बाध्य है

तो, वर्ग Broadcast नाम पर है, लेकिन यह वास्तव में एक विशिष्ट नामित कतार है कि एक फैनआउट के लिए बाध्य है है अदला बदली। इसलिए जब प्रत्येक कार्यकर्ता शुरू होता है, तो यह अपनी अनूठी कतार बनाता है और प्रशंसक विनिमय के लिए बाध्य करता है।

Answer 3

यदि आप सेलेरी 4.0 का उपयोग कर रहे हैं।1+, और प्रसारण आपके लिए काम नहीं कर रहा है, कृपया https://github.com/celery/celery/pull/3934 देखें और क्लोक के समाधान देखें, यह amqp.py के पिछले संस्करण को पुनर्स्थापित करता है और यह मेरे लिए काम करता है।