चला रहे हैं मैं एयरफ्लो v1.8.1 का उपयोग कर रहा हूं और कुबेरनेट & डॉकर पर सभी घटकों (कार्यकर्ता, वेब, फूल, शेड्यूलर) चला रहा हूं। मैं Redis के साथ अजवाइन निर्वाहक का उपयोग करें और अपने कार्यों की तरह दिखता है:एयरफ्लो कार्य "कतारबद्ध" स्थिति पर फंस जाते हैं और कभी भी
(start) -> (do_work_for_product1)
├ -> (do_work_for_product2)
├ -> (do_work_for_product3)
├ …
कई downstreams तो start
कार्य है। नीचे के रूप में और मैं सेटअप संगामिति संबंधित विन्यास:
parallelism = 3
dag_concurrency = 3
max_active_runs = 1
तब (यकीन नहीं करता है, तो यह कभी नहीं एक निर्धारित कार्य पर होता है) जब मैं इस DAG मैन्युअल रूप से चलाना, कुछ downstreams निष्पादित हो, लेकिन दूसरों पर अटक स्थिति "पंक्तिबद्ध" ।
यदि मैं व्यवस्थापक UI से कार्य साफ़ करता हूं, तो इसे निष्पादित किया जाता है। कोई कार्यकर्ता लॉग नहीं है (कुछ पहले डाउनस्ट्रीम को प्रोसेस करने के बाद, यह किसी भी लॉग आउटपुट नहीं करता है)।
वेब सर्वर के लॉग (यकीन नहीं worker exiting
संबंधित है)
/usr/local/lib/python2.7/dist-packages/flask/exthook.py:71: ExtDeprecationWarning: Importing flask.ext.cache is deprecated, use flask_cache instead.
.format(x=modname), ExtDeprecationWarning
[2017-08-24 04:20:56,496] [51] {models.py:168} INFO - Filling up the DagBag from /usr/local/airflow_dags
[2017-08-24 04:20:57 +0000] [27] [INFO] Handling signal: ttou
[2017-08-24 04:20:57 +0000] [37] [INFO] Worker exiting (pid: 37)
वहाँ अनुसूचक पर कोई त्रुटि लॉग, भी है। और जब भी मैं कोशिश करता हूं तो कई कार्य अटक जाते हैं।
क्योंकि मैं डॉकर का भी उपयोग करता हूं, मुझे आश्चर्य है कि यह संबंधित है: https://github.com/puckel/docker-airflow/issues/94 लेकिन अभी तक, कोई सुराग नहीं है।
क्या किसी को भी इसी तरह के मुद्दे का सामना करना पड़ा है या मुझे कुछ पता है कि मैं इस मुद्दे के लिए क्या जांच कर सकता हूं ...?
हाय @ नोरियो, हमारे पास समान समस्या है जो 'कतार' में कार्य करता है लेकिन शेड्यूलर उनमें से कुछ को भूल जाता है। जब मैं फिर से 'एयरफ्लो शेड्यूलर' का उपयोग करता हूं, तो उन्हें उठाया जाता है। मैं 1.8.1, कुबेरनेट और डॉकर का भी उपयोग कर रहा हूं, लेकिन स्थानीय एक्सक्लूसर के साथ, यहां एक ही समस्या है। – Chengzhi
@ चेंग्ज़ी जानकारी के लिए धन्यवाद। मैं इस खोल का उपयोग https://github.com/apache/incubator-airflow/blob/ff45d8f2218a8da9328161aa66d004c3db3b367e/airflow/bin/airflow_scheduler_autorestart का उपयोग करता हूं।sh8 के बैक ऑफ पर भरोसा किए बिना स्वचालित रूप से शेड्यूलर को पुनरारंभ करने के लिए sh, इसलिए मेरे मामले शेड्यूलर को समय-समय पर फिर से तैयार किया जाना चाहिए, लेकिन कुछ कार्यों को हमेशा के लिए नहीं चुनना ... बहुत अजीब है। –
सुपर, साझा करने के लिए धन्यवाद, बहुत तारित, अगर मुझे कुछ मिला तो मैं आपको लूप में रखूंगा, लेकिन ऐसा लगता है कि यह अब समाधान है। – Chengzhi