मैं अपाचे-स्पार्क को एक छोटे स्टैंडअलोन क्लस्टर (1 मास्टर नोड और 8 स्लेव नोड्स) पर सेट करने का प्रयास कर रहा हूं। मैंने हडोप 2.4 के शीर्ष पर बने स्पार्क 1.1.0 का "प्री-बिल्ट" संस्करण स्थापित किया है। मैंने नोड्स के बीच पासवर्ड रहित एसएसएच स्थापित किया है और कुछ आवश्यक पर्यावरण चर निर्यात किए हैं। इन चर (जो शायद सबसे अधिक प्रासंगिक है) से एक है:अपाचे स्पार्क, "कोई स्थानीय डीआईआर बनाने में असफल रहा"
export SPARK_LOCAL_DIRS=/scratch/spark/
मैं अजगर कोड का एक छोटा टुकड़ा है जो मैं स्पार्क के साथ काम करता है पता है। मैं इसे स्थानीय रूप से चला सकता हूं - मेरे डेस्कटॉप पर, क्लस्टर नहीं - साथ:
$SPARK_HOME/bin/spark-submit ~/My_code.py
मैंने कोड को क्लस्टर में कॉपी किया।
$SPARK_HOME/sbin/start-all
और गुलामों की प्रत्येक प्रक्रिया xxxxx के रूप में चल रूप में सूचीबद्ध है: तो फिर, मैं सिर नोड से सभी प्रक्रियाओं को शुरू करते हैं।
मैं तो ऊपर एक ही कमांड के साथ मेरी कोड को चलाने के लिए प्रयास करते हैं:
$SPARK_HOME/bin/spark-submit ~/MY_code.py
मैं निम्नलिखित त्रुटि मिलती है:
14/10/27 14:19:02 ERROR util.Utils: Failed to create local root dir in /scratch/spark/. Ignoring this directory.
14/10/27 14:19:02 ERROR storage.DiskBlockManager: Failed to create any local dir.
मैं अनुमतियाँ /scratch और /scratch/spark 777 पर पर सेट है । कोई भी मदद बहुत ही सराहनीय होगी।
मुझे भी एक ही समस्या है, मेरे पास एक अंबारी सेटअप है, क्या आप मुझे यह बता सकते हैं कि मास्टर नोड कौन सा है? –