हम spark-submit के माध्यम से स्पार्क नौकरी चला रहे हैं, और मैं देख सकता हूं कि विफलता के मामले में नौकरी फिर से जमा की जाएगी।स्पार्क नौकरी विफलता पर पुनः प्रयासों की संख्या को सीमित कैसे करें?
यार्न कंटेनर विफलता या जो भी अपवाद हो, उसके मामले में प्रयास # 2 होने से मैं इसे कैसे रोक सकता हूं?
पर गौर है कि पुनर्प्रयास की संख्या (यानी यार्न के साथ ApplicationMaster पंजीकरण प्रयासों की अधिकतम संख्या में विफल रहा है माना जाता है और इसलिए पूरे स्पार्क आवेदन) को नियंत्रित दो सेटिंग्स हैं:
spark.yarn.maxAppAttempts - स्पार्क की अपनी सेटिंग। MAX_APP_ATTEMPTS देखें:
private[spark] val MAX_APP_ATTEMPTS = ConfigBuilder("spark.yarn.maxAppAttempts")
.doc("Maximum number of AM attempts before failing the app.")
.intConf
.createOptional
yarn.resourcemanager.am.max-attempts - यार्न के डिफ़ॉल्ट जा रहा है 2.
(आप YarnRMClient.getMaxRegAttempts में देख सकते हैं) वास्तविक संख्या यार्न और स्पार्क के विन्यास सेटिंग्स की न्यूनतम है के साथ अपनी सेटिंग यार्न का आखिरी उपाय है।
अपने यार्न-default.xml फाइल करने के लिए संपत्ति yarn.resourcemanager.am.max-attempts जोड़ें। यह अधिकतम आवेदन प्रयासों को निर्दिष्ट करता है।
अधिक जानकारी के लिए इस link
अच्छा! मैं उपयोग के मामले के बारे में सपना देख रहा हूं जहां मैं आवेदन प्रयासों को बढ़ रहा था। क्या आप जानते हैं कि यह क्या हुआ? –
मैंने यह तब किया जब स्मृति की कमी और "जीसी ओवरहेड सीमा पार हो गई" समस्या के कारण कंटेनर आवंटन विफलता। – codingtwinky