findspark.init() इंडेक्स त्रुटि: रेंज त्रुटि

Question

से सूची सूचकांक पाइथन 3.5 जिप्टर पर्यावरण में निम्न चलाते समय मुझे नीचे त्रुटि मिलती है। इसके कारण क्या कोई विचार है?

import findspark 
findspark.init() 

त्रुटि:

IndexError        Traceback (most recent call 
last) <ipython-input-20-2ad2c7679ebc> in <module>() 
     1 import findspark 
----> 2 findspark.init() 
     3 
     4 import pyspark 

/.../anaconda/envs/pyspark/lib/python3.5/site-packages/findspark.py in init(spark_home, python_path, edit_rc, edit_profile) 
    132  # add pyspark to sys.path 
    133  spark_python = os.path.join(spark_home, 'python') 
--> 134  py4j = glob(os.path.join(spark_python, 'lib', 'py4j-*.zip'))[0] 
    135  sys.path[:0] = [spark_python, py4j] 
    136 

IndexError: list index out of range 

Answer 1

यह SPARK_HOME वातावरण चर के कारण हुई है आपके सिस्टम पर ठीक से सेट नहीं किया जा रहा। वैकल्पिक रूप से, आप इसे जब आप findspark initialising रहे हैं निर्दिष्ट कर सकते हैं, तो जैसे:

import findspark 
findspark.init('/path/to/spark/home') 

उसके बाद, यह सब काम करना चाहिए!

Answer 2

मैं एक ही त्रुटि हो रही थी और यह सटीक स्थापना निर्देशिका दर्ज करके काम करने के लिए कर रहा था:

import findspark 
# Use this 
findspark.init("C:\Users\PolestarEmployee\spark-1.6.3-bin-hadoop2.6") 
# Test 
from pyspark import SparkContext, SparkConf 

Basically, it is the directory where spark was extracted. In future where ever you see spark_home enter the same installation directory. I also tried using toree to create a kernal instead, but it is failing somehow. A kernal would be a cleaner solution.

Answer 3

आप bash_profile अंदर SPARK_HOME चर अपडेट करना होगा। मेरे लिए, निम्न आदेश (टर्मिनल में) काम किया:

export SPARK_HOME="/usr/local/Cellar/apache-spark/2.2.0/libexec/"

इस के बाद, आप का उपयोग इन आदेशों का पालन कर सकते हैं:

import findspark 
findspark.init('/usr/local/Cellar/apache-spark/2.2.0/libexec')