2016-12-20 10 views
5

में स्थानीय डीआईआर बनाने में विफल रहा मैं एक लंबे समय तक चलने वाली स्पार्क नौकरी चलाने की कोशिश कर रहा था। निष्पादन के कुछ ही घंटों के बाद, मैं अपवाद नीचे मिल:स्पार्क - जावा IOException: स्थानीय dir/tmp/blockmgr *

Caused by: java.io.IOException: Failed to create local dir in /tmp/blockmgr-bb765fd4-361f-4ee4-a6ef-adc547d8d838/28 

की जाँच करके उसके चारों ओर पाने के लिए कोशिश की:/tmp निर्देशिका में

  1. अनुमति मुद्दा। स्पार्क सर्वर रूट के रूप में नहीं चल रहा है। लेकिन/tmp dir सभी उपयोगकर्ताओं के लिए लिखने योग्य होना चाहिए।

  2. /tmp Dir पर्याप्त जगह है।

उत्तर

3

यह मानते हुए कि आप कई नोड्स के साथ काम कर रहे हैं, तो आप जाँच करने के लिए प्रत्येक नोड चिंगारी आपरेशन (मास्टर/चालक + दास/नोड्स/श्रमिकों) में भाग लेने की आवश्यकता होगी।

कृपया पुष्टि करें कि प्रत्येक कार्यकर्ता/नोड में पर्याप्त डिस्क स्थान (विशेष रूप से चेक/tmp फ़ोल्डर) है, और सही अनुमतियां हैं।

+1

अंतरिक्ष सभी नोड्स पर उपलब्ध है और/tmp पठनीय, लिखने योग्य है। लेकिन फिर भी मुझे यह समस्या ज़ेपेल्लिन में मिलती है .. –

संबंधित मुद्दे