2012-01-16 15 views
6

मेरे पास एक बहुत लंबा नक्शा चरण वाला एक हैडऑप नौकरी है और मैं प्राथमिकता में अन्य छोटी नौकरियां चलाने के लिए चाहता हूं। इसके लिए मैंने अपने लंबे काम की प्राथमिकता हैडऑप जॉब -सेट-प्राथमिकता job_id लो के साथ।क्या मैं अपने रेड्यूसर (प्रतिलिपि चरण) को केवल तभी शुरू कर सकता हूं जब सभी मैपर पूरा हो जाएं

समस्या यह है कि, मेरे लंबे काम के लिए, reducers की प्रति चरण तब भी शुरू होता है जब मेरे मानचित्र कार्यों का केवल 30% पूरा हो जाता है।

मेरा ग्रिड तब दबाया जाता है क्योंकि सभी कम स्लॉट कम प्राथमिकता वाले नौकरी से लिया जाता है। अन्य छोटी नौकरियां अपने मानचित्र चरणों को कर सकती हैं लेकिन जब तक मेरी लंबी नौकरी खत्म नहीं होती है तब तक उन्हें कभी भी कोई reducer नहीं मिलेगा।

कोई विचार? धन्यवाद। जे

उत्तर

9

मैं अपने आप को अपने प्रश्न का उत्तर मिल गया: एक नौकरी conf पैरामीटर है कि वास्तव में काम करता है नहीं है:

mapred.reduce.slowstart.completed.maps = 0.90

कम कार्य केवल तभी शुरू होते हैं जब 9 0% मानचित्र पूरा हो जाते हैं। डिफ़ॉल्ट मान 0.05 है।

संबंधित मुद्दे