airflow

5गर्मी

1उत्तर

एयरफ्लो: एसएसएच कैसे करें और एक अलग सर्वर से BashOperator कैसे चलाएं

क्या अलग सर्वर पर ssh करने का कोई तरीका है और Airbnb के एयरफ्लो का उपयोग करके BashOperator चलाएं? मैं एयरफ्लो के साथ एक हाइव एसक्यूएल कमांड चलाने की कोशिश कर रहा हूं लेकिन मुझे हाइव खोल चलाने के लिए ए

6गर्मी

2उत्तर

उच्च availabilty

के लिए एयरफ्लो सेटअप उच्च उपलब्धता में अपाचे एयरफ्लो (औपचारिक रूप से एयरबर्न के एयरफ्लो के रूप में जाना जाता है) शेड्यूलर को कैसे तैनात करें? मैं बैकएंड डीबी या खरगोश एमक्यू के बारे में नहीं पूछ रहा ह

5गर्मी

2उत्तर

एयरफ्लो ट्रिगर_डाग execution_date अगले दिन है, क्यों?

हाल ही में मैंने एयरफ्लो का इतना परीक्षण किया है कि execution_date के साथ airflow trigger_dag <my-dag> चलाते समय एक समस्या है। मैं सीख लिया है कि execution_date क्या हम here से पहली बार में लगता नहीं

5गर्मी

1उत्तर

एयरफ्लो: पायथनऑपरेटर: 'डीएस' तर्क क्यों शामिल करें?

एक फ़ंक्शन को बाद में एक पायथन_केलबल के रूप में परिभाषित करने के दौरान, 'डीएस' को फ़ंक्शन के पहले तर्क के रूप में क्यों शामिल किया गया है? उदाहरण के लिए: def python_func(ds, **kwargs): pass मैं

5गर्मी

1उत्तर

एआईआरफ़्लो - कई फाइलों में डीएजी परिभाषा को विभाजित करना

बस एयरफ्लो के साथ शुरू करना और सोच रहा है कि बड़े डीएजी की संरचना के लिए सर्वोत्तम प्रथाएं क्या हैं। हमारे ईटीएल के लिए, हमारे पास बहुत सारे कार्य हैं जो तार्किक समूह में आते हैं, फिर भी समूह एक दूसरे

28गर्मी

6उत्तर

एयरफ्लो: एक डीएजी कैसे हटाएं?

मैंने एयरफ्लो वेबसर्वर शुरू किया है और कुछ डैग निर्धारित किए हैं। मैं वेब जीयूआई पर डैग देख सकता हूं। मैं एक विशेष डीएजी को चलाने और वेब जीयूआई में दिखाए जाने से कैसे हटा सकता हूं? क्या ऐसा करने के लि

13गर्मी

2उत्तर

वायु प्रवाह "यह DAG नहीं है वेबसर्वर DagBag वस्तु में उपलब्ध"

जब मैं dags फ़ोल्डर में एक नया DAG अजगर स्क्रिप्ट डाल, मैं DAG यूआई में DAG की एक नई प्रविष्टि देख सकते हैं, लेकिन यह स्वचालित रूप से सक्षम नहीं किया गया। उस पर, ऐसा लगता है कि ठीक से भी लोड नहीं होता

10गर्मी

2उत्तर

एयरफ्लो में स्पार्क कोड कैसे चलाएं?

पृथ्वी के नमस्ते लोग! मैं स्पार्क कार्यों को शेड्यूल और चलाने के लिए एयरफ्लो का उपयोग कर रहा हूं। इस समय तक मैंने जो कुछ पाया वह पाइथन डीएजी है जो एयरफ्लो प्रबंधित कर सकता है। DAG उदाहरण: spark_count_

6गर्मी

1उत्तर

हवा का प्रवाह स्टार्टअप

Traceback (most recent call last): File "./python_runtime/bin/airflow", line 15, in <module> args.func(args) File "/home/admin/airflow/python_runtime/lib/python2.7/site-packages/airflow

5गर्मी

1उत्तर

लेखन

एक तरह से वायु प्रवाह में लॉग करने के लिए लिखने के लिए लाइन 44 here पर की तरह एक PythonOperator से एक तार वापस जाने के लिए है। क्या अन्य तरीके हैं जो मुझे एयरफ्लो लॉग फ़ाइलों को लिखने की अनुमति देते ह