1. घर
  2. सवाल और जवाब
  3. होमब्री का उपयोग करते हुए अपाचे स्पार्क अपग्रेड 1.5.2 से 1.6.0 तक अपग्रेड के दौरान त्रुटि से इनकार कर दिया गया है

होमब्री का उपयोग करते हुए अपाचे स्पार्क अपग्रेड 1.5.2 से 1.6.0 तक अपग्रेड के दौरान त्रुटि से इनकार कर दिया गया है

2016-01-06 4 views
7

मैंने होमब्री का उपयोग करके स्पार्क को 1.5.2 से 1.6.0 तक अपग्रेड किया और SPARK_HOME पर्यावरण परिवर्तक को /usr/local/Cellar/apache-spark/1.6.0 पर रीसेट कर दिया। अब pyspark निष्पादित करते समय, यह एक त्रुटि त्रुटि से इनकार करता है।

यदि मैं पहले 1.5.2 स्थापना निर्देशिका में जाता हूं और वहां से पाइस्पार्क निष्पादित करता हूं, तो यह ठीक चलता है। लेकिन 1.6.0 स्थापना निर्देशिका से pyspark चल रहा है इस अनुमति के साथ विफल त्रुटि त्रुटि से इनकार कर दिया।होमब्री का उपयोग करते हुए अपाचे स्पार्क अपग्रेड 1.5.2 से 1.6.0 तक अपग्रेड के दौरान त्रुटि से इनकार कर दिया गया है

/usr/local/Cellar/apache-spark/1.6.0/bin/load-spark-env.sh: line 2: /usr/local/Cellar/apache-spark/1.6.0/libexec/bin/load-spark-env.sh: Permission denied

/usr/local/Cellar/apache-spark/1.6.0/bin/load-spark-env.sh: line 2: exec: /usr/local/Cellar/apache-spark/1.6.0/libexec/bin/load-spark-env.sh: cannot execute: Undefined error: 0

इस कारण हो सकता है क्या?

स्रोत

2016-01-06 septra

उत्तर

1

वांटेड SparkContext IPython में चलाने के लिए (नीचे Noli को ऋण) unset SPARK_HOME && pyspark करके काम किया, पता चला शांत सीधा होने के लिए।

unset SPARK_HOME IPYTHON=1 pyspark

स्रोत

2016-02-20 12:37:53 septra

+0

"SPARK_HOME अनसेट करें" के माध्यम से काम करने की आवश्यकता है। –

10

मैं एक ही समस्या में भाग गया और सबसे आसान फिक्स $SPARK_HOME को /usr/local/Cellar/apache-spark/<your_spark_version>/libexec/ पर सेट करना है।

आप सीधे स्रोत से भी बना सकते हैं और आप निर्देश here देख सकते हैं।

मूल रूप से सिर्फ

git clone https://github.com/apache/spark/` 
cd spark 
git checkout origin/branch-X.Y 

build/mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -DskipTests clean package

आप चिंगारी स्रोत कोड के शीर्ष स्तरीय निर्देशिका के $SPARK_HOME सेट करना होगा है।

स्रोत

2016-01-06 21:45:02 user3033652

+1

निश्चित रूप से एक सहायक विकल्प है, लेकिन मुझे वास्तव में होमब्रे –

-1

मैं भी अनुमति की तरह एक ही त्रुटि spark-shell शुरू करने के लिए इनकार कर दिया सामना करना पड़ा। मैंने फ़ाइल अनुमतियां बदल दीं। इसने मेरे लिए अच्छा काम किया। spark-1.6.x की पेरेंट निर्देशिका में जाओ और निम्न करें:

chmod 777 spark-1.6.x -R

यह पुनरावर्ती फ़ाइल की अनुमति के लिए बदल जाएगा।

स्रोत

2016-05-17 07:53:51 harshita

संबंधित मुद्दे

 संबंधित मुद्दे