2016-03-07 13 views
5

में प्रारंभ और समाप्ति समय को समझना मैं भंडारण से फ्लैट फ़ाइलों को लेने और उन्हें Azure SQL DB के भीतर टेबल में लोड करने के उद्देश्य से एक Azure "डेटा फैक्टरी" में एक पाइपलाइन स्थापित कर रहा हूं।Azure डेटा फैक्ट्री पाइपलाइन

इस पाइपलाइन के लिए टेम्पलेट निर्दिष्ट करता है कि मुझे एक प्रारंभ और समाप्ति समय की आवश्यकता है, जो the tutorial 1 दिन पर सेट करने के लिए कहता है।

मैं इसे समझने की कोशिश कर रहा हूं। यदि यह लिनक्स में एक सीआरओएन नौकरी या विंडोज सर्वर में निर्धारित कार्य था, तो मैं बस इसे कहूंगा कि कब शुरू करना है (यानी दैनिक 6 बजे) और इसे पूरा होने में काफी समय लगेगा।

यह मैं कई संबंधित सवालों की ओर जाता है:

  • मैं क्यों किसी समाप्ति समय निर्दिष्ट करने के लिए की आवश्यकता होगी?
  • क्या होगा अगर मुझे नहीं पता कि यह कितना समय लगेगा?
  • यदि मैं इसे भविष्य में बहुत दूर सेट करता हूं, तो क्या मैं डेटा पाइपलाइन का जोखिम समय पर पूरा नहीं कर रहा हूं?
  • यदि मैं इसे बहुत जल्द सेट करता हूं, तो क्या पाइपलाइन टूट जाएगी?

मैं a prior question पाया जो एक छोटे से शेड -

  • क्यों यह मुश्किल एक आवृत्ति के बजाय एक तारीख रूप में कोडित है (":: 32 41Z 2014-10-14T16" यानी यह इस प्रारूप का उपयोग करने के लिए कहते हैं) हार्ड कोडित तिथियों की बजाय आवृत्ति कैसे करें, इस पर प्रकाश, लेकिन उपरोक्त मेरे प्रश्न अभी भी समाधान द्वारा अनुत्तरित हैं।

  • उत्तर

    4

    1 दिन का शेड्यूल इस अवधारणा को हाइलाइट करने के लिए एक उदाहरण है कि आप 24 गतिविधि विंडो की अपेक्षा करेंगे यदि आवृत्ति उदाहरण में दिखाए गए 1 दिन के लिए प्रति घंटा सेट हो।

    मुझे अंत समय निर्दिष्ट करने की आवश्यकता क्यों होगी?

    यदि आप चाहते हैं कि आप पाइपलाइन अनिश्चित काल तक चल सकें तो आपको अंत समय निर्दिष्ट करने की आवश्यकता नहीं है। हालांकि, आपके पास एक वार्षिक व्यापार चक्र के साथ मेल खाने के लिए अंत समय निर्धारित करने के व्यावसायिक कारण हो सकते हैं। समग्र पाइपलाइन प्रारंभ और समाप्ति समय इसके भीतर गतिविधियों के संग्रह पर लागू होता है। गतिविधियां डेटासेट की गतिविधि और उपलब्धता के लिए आपके द्वारा निर्धारित आवृत्ति (प्रति घंटा, दैनिक आदि) के अनुसार चलती हैं। आप गतिविधियों के लिए प्रारंभ समय भी सेट कर सकते हैं, या ऑफ़सेट कर सकते हैं या देरी कर सकते हैं (उदाहरण के लिए यदि आप आज कल के डेटा को संसाधित करना चाहते हैं), या डेटा को बैकफिल डेटा में अतीत में प्रारंभ तिथि सेट करें।

    आवृत्ति के बजाय तिथि के रूप में इसे हार्ड कोड क्यों किया जाता है?

    पाइपलाइन शुरू और अंत एक कारण है और एक आवृत्ति नहीं है क्योंकि यह आपकी तिथि पाइपलाइन सक्रिय है, और व्यक्तिगत प्रसंस्करण गतिविधियां आवृत्ति और कितनी बार दौड़ती हैं, इस समय से निपटती हैं।

    क्या होगा यदि मुझे नहीं पता कि यह कितना समय लगेगा?

    एक बार गतिविधियों को बंद करने के बाद वे पूरा होने के लिए दौड़ेंगे। यदि वे समाप्ति तिथि से बाहर निकलते हैं तो पाइपलाइन केवल नई गतिविधियों को नहीं लाएगी।

    यदि मैं इसे भविष्य में बहुत दूर सेट करता हूं, तो क्या मैं डेटा पाइपलाइन का जोखिम समय पर पूरा नहीं कर रहा हूं?

    नहीं, समय-समय पर पूरा करने के लिए केवल आपके क्लस्टर आकार, डेटा वॉल्यूम और समवर्ती सेटिंग के साथ ही करना है।

    यदि मैं इसे बहुत जल्द सेट करता हूं, तो क्या पाइपलाइन टूट जाएगी?

    देखें ऊपर

    हम अनुसूची की जटिलता के इस प्रकार प्रदान करते हैं, ताकि आप कई सेवाओं orchestrating, जबकि दे बल्कि सिर्फ एक क्रॉन जॉब बंद लात से एडीएफ बादल संसाधनों का प्रबंधन में और अधिक लचीलापन हो सकता है। हमारे प्रलेखन में शेड्यूलिंग के बारे में बहुत अधिक जानकारी है https://azure.microsoft.com/en-us/documentation/articles/data-factory-scheduling-and-execution/

    +0

    हाय @ सोोनिया, डेटा कारखाने में समय क्षेत्र को बदलने के तरीके पर कोई विचार है? यह वर्तमान में यूटीसी पर आधारित है। – Ariox66

    +1

    मुझे लगता है कि यहां गुम महत्वपूर्ण बात यह है कि: जब आप प्रारंभ और समाप्ति समय और शेड्यूल निर्दिष्ट करते हैं, तो यह 'टाइम्सलिसेस' की एक बड़ी सूची को पूर्व-उत्पन्न करता है। तो यदि आपके पास 3 साल के लिए दैनिक शेड्यूल है, तो यह 3 एक्स 365 टाइम्सलिस प्रविष्टियां उत्पन्न करेगा। आप उन विशेष समय-सारिणी के साथ जा सकते हैं और काम कर सकते हैं। यदि आप अतीत में 'टाइम्सलिस पैरामीटर' के साथ नौकरी चलाने के लिए चाहते हैं तो आपको टाइम्सलाइस मिल जाए और इसे चलाएं। यदि आप भविष्य में इसे परीक्षण करने के लिए भविष्य में भागना चाहते हैं ... दुर्भाग्य से मैं इसे काम नहीं कर सका (हालांकि मैं अभी भी सीख रहा हूं) –

    0

    मुझे अंत समय निर्दिष्ट करने की आवश्यकता क्यों होगी?

    एडीएफ 1 में, यदि आप प्रारंभ समय निर्दिष्ट कर रहे हैं तो आपको अंत समय निर्दिष्ट करना होगा। यदि आप प्रारंभ और समाप्ति समय निर्दिष्ट नहीं करते हैं, तो यह ठीक है, आप पाइपलाइन को तैनात करने में सक्षम होंगे लेकिन पाइपलाइन में गतिविधियां ट्रिगर नहीं होंगी।

    संबंधित मुद्दे