स्पार्क कैसंड्रा कनेक्टर और एसबीटी

Question

के साथ संकलन त्रुटियां मैं डेटास्टैक्स स्पार्क कैसंड्रा कनेक्टर काम करने की कोशिश कर रहा हूं। मैंने इंटेलिजे में एक नई एसबीटी परियोजना बनाई है, और एक एकल वर्ग जोड़ा है। कक्षा और मेरी एसबीटी फ़ाइल नीचे दी गई है। स्पार्क संदर्भों का निर्माण करना प्रतीत होता है, हालांकि, जब मैं एक कैसंड्राटेबल बनाने की कोशिश करता हूं, तो मुझे निम्न संकलन त्रुटि मिलती है:

त्रुटि: स्केलैक: खराब प्रतीकात्मक संदर्भ। CassandraRow.class में एक हस्ताक्षर पैकेज उत्प्रेरक को पैकेज org.apache.spark.sql में संदर्भित करता है जो उपलब्ध नहीं है। यह वर्तमान क्लासपाथ से पूरी तरह गायब हो सकता है, या पर संस्करण क्लासपाथ CassandraRow.class संकलित करते समय उपयोग किए गए संस्करण के साथ असंगत हो सकता है।

एसबीटी मेरे लिए बहुत नया है, और मैं समझने में किसी भी मदद की सराहना करता हूं कि यह त्रुटि क्या है (और निश्चित रूप से, इसे कैसे हल करें)।

name := "cassySpark1" 

version := "1.0" 

scalaVersion := "2.10.4" 

libraryDependencies += "org.apache.spark" % "spark-core_2.10" % "1.1.0" 

libraryDependencies += "com.datastax.spark" % "spark-cassandra-connector" % "1.1.0" withSources() withJavadoc() 

libraryDependencies += "com.datastax.spark" %% "spark-cassandra-connector-java" % "1.1.0-alpha2" withSources() withJavadoc() 

resolvers += "Akka Repository" at "http://repo.akka.io/releases/" 

और मेरी कक्षा:

import org.apache.spark.{SparkConf, SparkContext}

import com.datastax.spark.connector._

object HelloWorld { def main(args:Array[String]): Unit ={ System.setProperty("spark.cassandra.query.retry.count", "1")

val conf = new SparkConf(true) 
    .set("spark.cassandra.connection.host", "cassandra-hostname") 
    .set("spark.cassandra.username", "cassandra") 
    .set("spark.cassandra.password", "cassandra") 

val sc = new SparkContext("local", "testingCassy", conf) 

> //val foo = sc.cassandraTable("keyspace name", "table name")

val rdd = sc.parallelize(1 to 100) 
val sum = rdd.reduce(_+_) 

println(sum) } } 

Answer 1

आप निर्भरता सूची spark-sql जोड़ने की जरूरत है

libraryDependencies += "org.apache.spark" %% "spark-sql" % "1.1.0" 

Answer 2

अपने प्रोजेक्ट की pom.xml फ़ाइल में पुस्तकालय निर्भरता जोड़ें। ऐसा लगता है कि उन्होंने नए रिफैक्टरिंग में निर्भरता स्थान बदल दिया है।