स्पार्क-खोल क्यों विफल होता है "त्रुटि: नहीं मिला: मूल्य स्पार्क"?

Question

मैं स्पार्क 2.1.0 का उपयोग करता हूं।

<console>:14: error: not found: value spark 
     import spark.implicits._ 
      ^
<console>:14: error: not found: value spark 
     import spark.sql 
      ^

क्या कारण हो सकता है:

जब मैं spark-shell चलाने के लिए, मैं इस त्रुटि का सामना करना? इसे कैसे जोड़ेंगे?

Answer 1

त्रुटि के लिए कारण यह है कि उदाहरण के कारण कुछ पहले मुद्दों (जो हुआ हो सकता है क्योंकि आप विंडोज पर हैं बनाया नहीं जा सका और आप winutils.exe स्थापित नहीं किया है द्विआधारी या कुछ अन्य सत्र स्थानीय रहता है डर्बी आधारित मेटास्टोर)।

अनुशंसा है कि आप लॉग के पूरे स्क्रीन को स्क्रॉल करें और समीक्षा करें जहां आपको मूल कारण मिलता है।

Answer 2

मैं एक ही मुद्दे का सामना करना पड़ रहा था, जांच के बाद मैं मनाया spark version और winutils.exehadoop-2.x.x की के बीच संगतता मुद्दा नहीं था।

प्रयोग करने के बाद मैं तुम्हें चिंगारी के साथ चिंगारी 2.2.0-बिन-hadoop2.7 संस्करण और Hadoop-2.6.0 winutils.exe साथ winutils.exe Hadoop-2.7.1 का उपयोग करने का सुझाव -1.6.0-बिन-hadoop2.6 संस्करण और वातावरण चरों

SCALA_HOME : C:\Program Files (x86)\scala2.11.7; 
JAVA_HOME : C:\Program Files\Java\jdk1.8.0_51 
HADOOP_HOME : C:\Hadoop\winutils-master\hadoop-2.7.1 
SPARK_HOME : C:\Hadoop\spark-2.2.0-bin-hadoop2.7 
PATH : %JAVA_HOME%\bin;%SCALA_HOME%\bin;%HADOOP_HOME%\bin;%SPARK_HOME%\bin; 

सी बनाएं नीचे सेट: \ tmp \ छत्ता diroctory और कमांड नीचे का उपयोग कर पहुंचने की अनुमति देनी

C:\Hadoop\winutils-master\hadoop-2.7.1\bin>winutils.exe chmod -R 777 C:\tmp\hive 

स्थानीय डर्बी-आधारित मेटास्टोर मेटास्टोर_डीबी निर्देशिका से मौजूद होने पर निर्देशिका हटाएं।

आदेश नीचे

C:\Users\<User_Name>\metastore_db 

उपयोग चिंगारी खोल शुरू करने के लिए

C:>spark-shell 

Answer 3

Ubuntu उपयोगकर्ताओं

के लिए मैं ठीक उसी त्रुटि थी और मैं इसे निम्नलिखित तरीके से तय की।

आप टर्मिनल पास से चिंगारी से खोल चल रहा है और फिर से खुल टर्मिनल और फिर पुनः आरंभ चिंगारी से खोल रहे हैं।

Answer 4

यदि आप क्लौडेरा चला रहे हैं, तो कृपया क्लौडेरा प्रबंधक में जांचें और सुनिश्चित करें कि HIVE सेवाएं चालू हैं। मुझे एक ही समस्या थी और मुझे पता चला कि मेरी HIVE सेवा नीचे थी। (हाई मेटास्टोर सर्वर, एचआईवीईएसईवर, HOSTS)

स्पार्क के लिए, आपको यह सुनिश्चित करना होगा कि एचडीएफएस, यार्न और HIVE चालू हैं।

यदि ऊपर बंद है तो उपरोक्त त्रुटि प्रकट होती है।

Answer 5

आप क्लाउडेरा पर इस GitHub टिकट से soltuion मेरे लिए काम किया (https://github.com/cloudera/clusterdock/issues/30) कर रहे हैं:

The root user (who you're running as when you start spark-shell) has no user directory in HDFS. If you create one (sudo -u hdfs hdfs dfs -mkdir /user/root followed by sudo -u hdfs dfs -chown root:root /user/root), this should be fixed.

अर्थात स्पार्क-खोल चलाने वाले उपयोगकर्ता के लिए एचडीएफएस उपयोगकर्ता होम निर्देशिका बनाएं।