अपाचे स्पार्क त्रुटि: नहीं मिला: मान sqlContext

Question

मैं विंडोज 10 में स्पार्क स्थापित करने की कोशिश कर रहा हूं। प्रारंभ में, मुझे this error का सामना करना पड़ा और लिंक में समाधान में मदद मिली। अब मैं अभी भी रूप में यह अभी भी आप स्पार्क 2.1 का उपयोग कर रहे जब से तुम SparkSession वस्तु का उपयोग करना होगा मुझे एक त्रुटि

---------------------------------------------------------------- 
Fri Mar 24 12:07:05 IST 2017: 
Booting Derby version The Apache Software Foundation - Apache Derby - 10.12.1.1 - (1704137): instance a816c00e-015a-ff08-6530-00000ac1cba8 
on database directory C:\metastore_db with class loader org.apache.spark.sql.hive.client.IsolatedClientLoader$$anon$1@37606fee 
Loaded from file:/F:/Soft/spark/spark-2.1.0-bin-hadoop2.7/bin/../jars/derby-10.12.1.1.jar 
java.vendor=Oracle Corporation 
java.runtime.version=1.8.0_101-b13 
user.dir=C:\ 
os.name=Windows 10 
os.arch=amd64 
os.version=10.0 
derby.system.home=null 
Database Class Loader started - derby.database.classpath='' 
17/03/24 12:07:09 WARN ObjectStore: Failed to get database global_temp, returning NoSuchObjectException 
Spark context Web UI available at http://10.128.18.22:4040 
Spark context available as 'sc' (master = local[*], app id = local-1490337421381). 
Spark session available as 'spark'. 
Welcome to 
     ____    __ 
    /__/__ ___ _____/ /__ 
    _\ \/ _ \/ _ `/ __/ '_/ 
    /___/ .__/\_,_/_/ /_/\_\ version 2.1.0 
     /_/ 

Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_101) 
Type in expressions to have them evaluated. 
Type :help for more information. 

scala> import sqlContext.sql 
<console>:23: error: not found: value sqlContext 
     import sqlContext.sql 
      ^

Answer 1

Spark context available as 'sc' (master = local[*], app id = local-1490337421381).

Spark session available as 'spark'.

स्पार्क 2.0.x में से SparkContext के लिए एक संदर्भ प्राप्त कर सकते हैं, स्पार्क के प्रवेश बिंदु SparkSession है और वह spark के रूप में स्पार्क खोल में उपलब्ध है। इसलिए आप इस

spark.sqlContext.sql(...) 

इस

val sqlContext = new org.apache.spark.sql.SQLContext(sc) 

पहले विकल्प स्पार्क शेल के रूप में मेरी पसंद पहले से ही एक पैदा कर दी है है आप तो यह का उपयोग करने के लिए की तरह अपने SparkContex बना सकते हैं की कोशिश करने के लिए है।

Answer 2

फेंकता import sqlContext.sql चलाने के लिए सक्षम नहीं हूँ। आप SparkSession वस्तु

var sSession = org.apache.spark.sql.SparkSession.getOrCreate(); 
var sContext = sSession.sparkContext; 

Answer 3

आप क्लाउडेरा पर हैं और इस मुद्दे को, इस Github टिकट से समाधान मेरे लिए काम किया (https://github.com/cloudera/clusterdock/issues/30) है, तो:

The root user (who you're running as when you start spark-shell) has no user directory in HDFS. If you create one (sudo -u hdfs hdfs dfs -mkdir /user/root followed by sudo -u hdfs dfs -chown root:root /user/root), this should be fixed.

अर्थात स्पार्क-खोल चलाने वाले उपयोगकर्ता के लिए उपयोगकर्ता होम निर्देशिका बनाएं। यह मेरे लिए तय है।