एक सेलेरी वर्कर

Question

के भीतर मल्टीथ्रेडिंग मैं एपीआई अनुरोधों से डेटा संसाधित करने के लिए RabbitMQ के साथ सेलेरी का उपयोग कर रहा हूं। प्रक्रिया इस प्रकार है:

अनुरोध -> एपीआई -> RabbitMQ -> अजवाइन कार्यकर्ता -> लौटें

आदर्श रूप में मैं और अधिक अजवाइन कार्यकर्ताओं अंडे हैं लेकिन मैं स्मृति की कमी के द्वारा प्रतिबंधित कर रहा हूँ।

वर्तमान में, मेरी प्रक्रिया में बाधा कार्यकर्ता में पारित यूआरएल से डेटा लाने और डाउनलोड कर रही है। Roughy, प्रक्रिया इस प्रकार है:

celery_gets_job(url): 
    var data = fetches_url(url) # takes 0.1s to 1.0s (bottleneck) 
    var result = processes_data(data) # takes 0.1ss 
    return result 

यह अस्वीकार्य है के रूप में कार्यकर्ता थोड़ी देर के लिए बंद कर दिया जाता है, जबकि URL प्राप्त करने में। मैं सूत्रण के माध्यम से इस में सुधार लाने के लिए देख रहा हूँ, लेकिन मैं अनिश्चित क्या सर्वोत्तम प्रथाओं हैं हूँ:

• वहाँ एक में एक ही समय में डेटा को संसाधित करते समय आने वाले डेटा एसिंक्रोनस रूप से अजवाइन कार्यकर्ता डाउनलोड करने के लिए एक रास्ता है अलग धागा?

• क्या मेरे पास अलग-अलग श्रमिकों को लाने और प्रसंस्करण करना चाहिए, संदेश के कुछ रूपों के साथ, संभवतः खरगोश एमक्यू के माध्यम से?

Answer 1

eventlet पुस्तकालय का उपयोग करना, आप उन्हें अतुल्यकालिक बनाने के लिए मानक पुस्तकालयों पैच कर सकते हैं।

पहले आयात async urllib2:

from eventlet.green import urllib2 

तो आप के साथ यूआरएल शरीर मिल जाएगा:

def fetch(url): 
    body = urllib2.urlopen(url).read() 
    return body 

अधिक eventlet उदाहरण here देखें।

Answer 2

मैं दो कार्यों को बनाउंगा, एक डेटा डाउनलोड करने के लिए और दूसरे इसे डाउनलोड करने के बाद प्रोसेसिंग के लिए। इस तरह आप स्वतंत्र रूप से दो कार्यों को स्केल कर सकते हैं। देखें: Routing, Chains।