स्पार्क एसक्यूएल पैकेज नहीं मिला

Question

मैं काफी स्पार्क के लिए, और निम्नलिखित परेशानी है नया हूँ:

import org.apache.spark.sql.SQLContext; 

या SQLContext चर स्पष्ट रूप से प्रारंभ करने का प्रयास करें::

SQLContext sqlContext = new org.apache.spark.sql.SQLContext(sc); 

जब मैं साथ SQLContext आयात करने का प्रयास

मैं ग्रहण से कोई त्रुटि मिलती है:

The import org.apache.spark.sql.SQLContext cannot be resolved

मैं निर्भरता फ़ाइल में स्पार्क डाल दिया है, और बाकी सब कुछ पंख है ई SQLContext को छोड़कर। पूरे कोड:

package org.apache.spark.sql does not exist

कोई भी विचार क्यों एसक्यूएल पैकेज नहीं पाया जा सकता है:

package main.java; 

import java.io.Serializable; 

import org.apache.spark.SparkConf; 
import org.apache.spark.api.java.JavaSparkContext; 

import org.apache.spark.sql.SQLContext; 

public class SparkTests { 
    public static void main(String[] args){ 
     SparkConf conf = new SparkConf().setAppName("SparkMain"); 
     JavaSparkContext sc = new JavaSparkContext(conf); 
     SQLContext sqlContext = new org.apache.spark.sql.SQLContext(sc); 

     //DataFrame df = sqlContext 
     System.out.println("\n\n\nHello world!\n\n\n"); 
    } 
} 

जब मैं mvn package के साथ संकलित करने के लिए प्रयास करते हैं, मैं संकलन त्रुटि मिलती है?

संपादित करें:

निर्भरता फ़ाइल pom.xml:

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> 
    <groupId>edu.berkeley</groupId> 
    <artifactId>simple-project</artifactId> 
    <modelVersion>4.0.0</modelVersion> 
    <name>Simple Project</name> 
    <packaging>jar</packaging> 
    <version>1.0</version> 
    <dependencies> 
     <dependency> <!-- Spark dependency --> 
      <groupId>org.apache.spark</groupId> 
      <artifactId>spark-core_2.10</artifactId> 
      <version>1.6.1</version> 
     </dependency> 
    </dependencies> 
</project> 

Answer 1

आप अपने प्रोजेक्ट में स्पार्क एसक्यूएल या DataFrames उपयोग करना चाहते हैं तो आप एक निर्भरता के रूप में spark-sql विरूपण साक्ष्य जोड़ना होगा। इस विशेष मामले में:

<dependency> 
    <groupId>org.apache.spark</groupId> 
    <artifactId>spark-sql_2.10</artifactId> <!-- matching Scala version --> 
    <version>1.6.1</version> <!-- matching Spark Core version --> 
</dependency> 

चाल चलाना चाहिए।