हडोप जॉब: कार्य 601 सेकेंड

Question

के लिए स्थिति की रिपोर्ट करने में विफल रहता है स्यूडोनोड पर हैडऑप नौकरी चलाने के दौरान, कार्य विफल हो जाता है और मार दिया जाता है। त्रुटि: कार्य प्रयास 601 सेकंड

के लिए स्थिति की रिपोर्ट करने में विफल रहता है लेकिन एक ही प्रोग्राम ग्रहण (स्थानीय नौकरी) के माध्यम से चल रहा है।

टास्क: वहाँ 25K कीवर्ड आसपास हैं, उत्पादन यानी 25K के आसपास * 25K entires

हर संभव संयोजन (दो एक समय में) हो जाएगा मुद्दा हो सकता है क्या?

Answer 1

किसी कारण से आपके छद्मोडोड पर निष्पादित कार्य, प्रगति नहीं कर रहा है। आप mapred-site.xml में "mapred.task.timeout" सेटिंग को बढ़ा सकते हैं। mapred-default.xml में एक ही का डिफ़ॉल्ट मान है:

<property> 
    <name>mapred.task.timeout</name> 
    <value>600000</value> 
    <description>The number of milliseconds before a task will be 
       terminated if it neither reads an input, writes 
       an output, nor updates its status string. 
    </description> 
</property> 

Answer 2

परीक्षण प्रयोजनों के लिए/एक बार नौकरी या टाइम-आउट मान की वेतन वृद्धि डिबगिंग एक अच्छा विकल्प हो सकता है, लेकिन अभ्यास यह दिखाता है के रूप में उत्पादन के लिए एक अच्छा समाधान नहीं है, आपको कोड की समीक्षा और अनुकूलन करना चाहिए।

Answer 3

हैडोप इसके लिए रिपोर्टिंग एपीआई प्रदान करता है। यदि आप 600 सेकंड की 10 मिनट के लिए हडूप नौकरी में प्रगति की रिपोर्ट नहीं करते हैं, तो यह कार्य को अटक गया और कार्य को मारता है। एपीआई संदर्भ Here

है