(स्पार्क) वस्तु {नाम} पैकेज का सदस्य नहीं है org.apache.spark.ml

Question

मैं उदाहरण यहां के आधार पर आत्म निहित अपाचे चिंगारी पर स्केला का उपयोग कर आवेदन को चलाने के लिए कोशिश कर रहा हूँ: http://spark.apache.org/docs/latest/ml-pipeline.html

यहाँ मेरा पूरा कोड:

build.sbt में

import org.apache.spark.ml.classification.LogisticRegression 
import org.apache.spark.ml.linalg.{Vector, Vectors} 
import org.apache.spark.ml.param.ParamMap 
import org.apache.spark.sql.Row 

object mllibexample1 { 
    def main(args: Array[String]) { 
    val spark = SparkSession 
     .builder() 
     .master("local[*]") 
     .appName("logistic regression example 1") 
     .getOrCreate() 


    val training = spark.createDataFrame(Seq(
     (1.0, Vectors.dense(0.0, 1.1, 0.1)), 
     (0.0, Vectors.dense(2.0, 1.0, -1.0)), 
     (0.0, Vectors.dense(2.0, 1.3, 1.0)), 
     (1.0, Vectors.dense(0.0, 1.2, -0.5)) 
    )).toDF("label", "features") 

    val lr = new LogisticRegression() 

    println("LogisticRegression parameters:\n" + lr.explainParams() + "\n") 

    lr.setMaxIter(100) 
     .setRegParam(0.01) 

    val model1 = lr.fit(training) 

    println("Model 1 was fit using parameters: " + model1.parent.extractParamMap) 
    } 
} 

निर्भरता:

name := "example" 
version := "1.0.0" 
scalaVersion := "2.11.8" 
libraryDependencies ++= Seq(
    "org.apache.spark" %% "spark-core" % "2.0.1", 
    "org.apache.spark" %% "spark-sql" % "2.0.1", 
    "org.apache.spark" %% "spark-mllib-local" % "2.0.1", 
    "com.github.fommil.netlib" % "all" % "1.1.2" 
) 

हालांकि एसबीटी खोल में कार्यक्रम चलाने के बाद, मैं निम्नलिखित त्रुटि मिली:

[info] Compiling 1 Scala source to /dataplatform/example/target/scala-2.11/classes... 
[error] /dataplatform/example/src/main/scala/mllibexample1.scala:1: object classification is not a member of package org.apache.spark.ml 
[error] import org.apache.spark.ml.classification.LogisticRegression 
[error]       ^
[error] /dataplatform/example/src/main/scala/mllibexample1.scala:3: object param is not a member of package org.apache.spark.ml 
[error] import org.apache.spark.ml.param.ParamMap 
[error]       ^
[error] /dataplatform/example/src/main/scala/mllibexample1.scala:8: not found: value SparkSession 
[error]  val spark = SparkSession 
[error]    ^
[error] /dataplatform/example/src/main/scala/mllibexample1.scala:22: not found: type LogisticRegression 
[error]  val lr = new LogisticRegression() 

मैं स्पार्क इंटरैक्टिव शैल में सफलतापूर्वक इस कोड को चला सकता हूं। क्या मुझे * .sbt फ़ाइल में कुछ याद आया?

"org.apache.spark" %% "spark-mllib" % "2.0.1" 

स्थानीय पर्याप्त नहीं है:

धन्यवाद, Bayu

Answer 1

आप एक MLlib निर्भरता याद किया।

Answer 2

मेरे पास एक ही समस्या थी और मेरे पास मेवेन स्कैला प्रोजेक्ट है।

मैंने नीचे मैवेन निर्भरता का उपयोग किया। इस मेवेन निर्भरता को जोड़ने के बाद, इस मुद्दे को हल किया गया था।

 <dependency> 
      <groupId>org.apache.spark</groupId> 
      <artifactId>spark-mllib_2.11</artifactId> 
      <version>2.0.2</version> 
     </dependency