अमेज़ॅन लोचदार MapReduce - SIGTERM

Question

मेरे पास एक ईएमआर स्ट्रीमिंग जॉब (पायथन) है जो सामान्य रूप से ठीक काम करती है (उदाहरण के लिए 10 मशीन 200 इनपुट प्रोसेसिंग)। हालांकि, जब मैं इसे बड़े डेटा सेट के खिलाफ चलाए (12 मशीनों, 6000 आदानों की कुल प्रसंस्करण इनपुट प्रति के बारे में 20 सेकंड में), क्रंचिंग मैं निम्नलिखित त्रुटि मिलती है के 2.5 घंटे के बाद:

java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 143 
at org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.java:372) 
at org.apache.hadoop.streaming.PipeMapRed.mapRedFinished(PipeMapRed.java:586) 
at org.apache.hadoop.streaming.PipeMapper.close(PipeMapper.java:135) 
at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:57) 
at org.apache.hadoop.streaming.PipeMapRunner.run(PipeMapRunner.java:36) 
at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:441) 
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:377) 
at org.apache.hadoop.mapred.Child$4.run(Child.java:255) 
at java.security.AccessController.doPrivileged(Native Method) 
at javax.security.auth.Subject.doAs(Subject.java:396) 
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1132) 
at org.apache.hadoop.mapred.Child.main(Child.java:249) 

अगर मैं पढ़ रहा हूँ यह सही ढंग से, subprocess कोड 143 के साथ विफल रहा क्योंकि किसी ने स्ट्रीमिंग नौकरी के लिए एक सिगरेट सिग्नल भेजा था।

क्या मेरी समझ सही है? यदि हां: तो ईएमआर इंफ्रास्ट्रक्चर एक सिगरेट कब भेजेगा?

Answer 1

मुझे पता चला कि क्या हो रहा था, इसलिए अगर कोई और इसी तरह की समस्याओं का अनुभव करता है तो यहां कुछ जानकारी दी गई है।

मेरे लिए कुंजी "जॉबट्रैकर" लॉग को देखना था। इन के तहत अपने काम के लॉग S3 पर/फ़ोल्डर में रहते हैं,:

<logs folder>/daemons/<id of node running jobtracker>/hadoop-hadoop-jobtracker-XXX.log. 

निम्न प्रकार के कई पंक्तियों थे:

2012-08-21 08:07:13,830 INFO org.apache.hadoop.mapred.TaskInProgress 
    (IPC Server handler 29 on 9001): Error from attempt_201208210612_0001_m_000015_0: 
    Task attempt_201208210612_0001_m_000015_0 failed to report status 
    for 601 seconds. Killing! 

तो मेरी कोड बाहर समय था, और यह मार डाला जा रहा था (यह 10 मिनट के कार्य समय समाप्ति से आगे जा रहा था)। 10 मिनट मैं कोई आई/ओएस नहीं कर रहा था, जिसे निश्चित रूप से उम्मीद नहीं थी (मैं आमतौर पर हर 20 सेकंड में एक I/O करता हूं)। ।

http://devblog.factual.com/practical-hadoop-streaming-dealing-with-brittle-code

"हमारे विज्ञान परियोजनाओं में से एक में, हम कुछ Hadoop स्ट्रीमिंग नौकरियों माणिक के साथ चलने और libxml पर भरोसा करते हैं कि दस्तावेजों पार्स करने के लिए है यह एक आदर्श बनाता है:

मैं तो इस लेख की खोज की बुराई का तूफान - वेब वास्तव में खराब एचटीएमएल से भरा है और libxml कभी-कभी अनंत लूप या पूरी तरह से segfaults में चला जाता है। कुछ दस्तावेजों पर, यह हमेशा segfaults। "

यह इसे दबाया। मुझे इनमें से एक "libxml अनंत लूप में जा रहा है" परिस्थितियों का अनुभव करना होगा (मैं libxml का भारी उपयोग कर रहा हूं - केवल पाइथन के साथ, रुबी नहीं)।

मेरे लिए अंतिम चरण स्किप मोड को ट्रिगर करना था (यहां निर्देश: Setting hadoop parameters with boto?)।

Answer 2

मैं इस आउटपुट में अमेज़ॅन ईएमआर ("सबप्रोसेस कोड 143 के साथ असफल रहा) से भाग गया। मेरा स्ट्रीमिंग जॉब एक ​​सर्वर को डेटा भेजने के लिए PHP कर्ल का उपयोग कर रहा था जिसमें मैपरेडस जॉब सर्वर अपने सुरक्षा समूह का हिस्सा नहीं था। इसलिए reducer समय बाहर और मार डाला गया था। आदर्श रूप से मैं अपनी नौकरियों को एक ही सुरक्षा समूह में जोड़ना चाहता हूं लेकिन मैंने अपने एपीआई के अंदर एक यूआरएल सुरक्षा टोकन पैरामेट जोड़ने का विकल्प चुना है।