2017-04-21 37 views
7

मैं 5 डीएजी चला रहा हूं जिसने महीनों की अवधि में base_log_folder में कुल 6 जीबी लॉग डेटा उत्पन्न किया है। मैंने अभी remote_base_log_folder जोड़ा है लेकिन ऐसा लगता है कि यह base_log_folder पर लॉगिंग को बाहर नहीं करता है।एयरफ्लो कार्य लॉग को हटा रहा है

क्या पुरानी लॉग फ़ाइलों को स्वचालित रूप से निकालने के लिए वैसे भी है, उन्हें घुमाएं या एयरफ्लो को मजबूर करें ताकि डिस्क (बेस_log_folder) को केवल दूरस्थ संग्रहण में लॉग ऑन न किया जा सके?

उत्तर

0

मुझे नहीं लगता कि एक रोटेशन तंत्र है कि वहाँ लेकिन आप उन्हें S3 या Google मेघ संग्रहण में स्टोर कर सकते हैं, जैसा कि यहाँ का वर्णन: https://airflow.incubator.apache.org/configuration.html#logs

+7

धन्यवाद, मैं रिमोट लॉगिंग विकल्प का उपयोग कर रहा हूं 'जीएमसी पर लॉग फाइलों को संग्रहीत' remote_base_log_folder' के साथ। यह जीसीएस में लॉग जोड़ता है लेकिन उन्हें स्थानीय रूप से हटा नहीं देता है। मुझे लगता है कि मैं सोच रहा था कि अन्य लोग उत्पादन में अपनी डिस्क भरने वाली बड़ी फाइलों के साथ कैसे काम कर रहे हैं। – jompa

0

वायु प्रवाह देखरेख में नहीं सोचता छोटा लॉग हवा का प्रवाह कोर तर्क का एक हिस्सा है , this देखने के लिए, और फिर इस समस्या में, रखरखाव करने वाले LOG_LEVEL को बहुत से लॉग डेटा से बचने का सुझाव देते हैं।

और this पीआर में, हम सीख सकते हैं कि airflow.cfg में लॉग स्तर को कैसे बदला जाए।

शुभकामनाएं।

6

उल्लेख https://github.com/teamclairvoyant/airflow-maintenance-dags

इस प्लग DAGs कि रुका कार्य को मारने और लॉग-सफाई कर सकते हैं करें। आप अवधारणाओं को पकड़ सकते हैं और एक नई डीएजी के साथ आ सकते हैं जो आपकी आवश्यकता के अनुसार सफाई कर सकता है।

संबंधित मुद्दे