1. घर
  2. सवाल और जवाब
  3. स्पार्ककॉन्टेक्स्ट

स्पार्ककॉन्टेक्स्ट

2015-06-05 7 views
5

बनाने में विफलता मैं स्कैला कोड के साथ स्पार्क-खोल में स्पार्क का परीक्षण कर रहा हूं। मैं काफ्का और स्पार्क का उपयोग करने के लिए प्रोटोटाइप का निर्माण कर रहा हूं।स्पार्ककॉन्टेक्स्ट

मैं नीचे spark-shell चला गया।

spark-shell --jars ~/spark/external/kafka-assembly/target/spark-streaming-kafka-assembly_2.10-1.3.1.jar

और मैंने खोल में नीचे कोड चलाया।

import kafka.serializer.StringDecoder 
import org.apache.spark.streaming._ 
import org.apache.spark.streaming.kafka._ 
import org.apache.spark.SparkConf 


// Create context with 2 second batch interval 
val sparkConf = new SparkConf().setAppName("DirectKafkaWordCount") 
val ssc = new StreamingContext(sparkConf, Seconds(2))

तो मैं त्रुटि जब मैं ssc बनाने पाया। spark-shell ने मुझे नीचे दिए गए संदेश को बताया।

scala> val ssc = new StreamingContext(sparkConf, Seconds(2)) 
15/06/05 09:06:08 INFO SparkContext: Running Spark version 1.3.1 
15/06/05 09:06:08 INFO SecurityManager: Changing view acls to: vagrant 
15/06/05 09:06:08 INFO SecurityManager: Changing modify acls to: vagrant 
15/06/05 09:06:08 INFO SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(vagrant); users with modify permissions: Set(vagrant) 
15/06/05 09:06:08 INFO Slf4jLogger: Slf4jLogger started 
15/06/05 09:06:08 INFO Remoting: Starting remoting 
15/06/05 09:06:08 INFO Utils: Successfully started service 'sparkDriver' on port 51270. 
15/06/05 09:06:08 INFO Remoting: Remoting started; listening on addresses :[akka.tcp://[email protected]:51270] 
15/06/05 09:06:08 INFO SparkEnv: Registering MapOutputTracker 
15/06/05 09:06:08 INFO SparkEnv: Registering BlockManagerMaster 
15/06/05 09:06:08 INFO DiskBlockManager: Created local directory at /tmp/spark-d3349ba2-125b-4dda-83fa-abfa6c692143/blockmgr-c0e59bba-c4df-423f-b147-ac55d9bd5ccf 
15/06/05 09:06:08 INFO MemoryStore: MemoryStore started with capacity 267.3 MB 
15/06/05 09:06:08 INFO HttpFileServer: HTTP File server directory is /tmp/spark-842c15d5-7e3f-49c8-a4d0-95bdf5c6b049/httpd-26f5e751-8406-4a97-9ed3-aa79fc46bc6e 
15/06/05 09:06:08 INFO HttpServer: Starting HTTP Server 
15/06/05 09:06:08 INFO Server: jetty-8.y.z-SNAPSHOT 
15/06/05 09:06:08 INFO AbstractConnector: Started [email protected]:55697 
15/06/05 09:06:08 INFO Utils: Successfully started service 'HTTP file server' on port 55697. 
15/06/05 09:06:08 INFO SparkEnv: Registering OutputCommitCoordinator 
15/06/05 09:06:08 INFO Server: jetty-8.y.z-SNAPSHOT 
15/06/05 09:06:08 WARN AbstractLifeCycle: FAILED [email protected]:4040: java.net.BindException: Address already in use 
java.net.BindException: Address already in use 
     at sun.nio.ch.Net.bind0(Native Method) 
     at sun.nio.ch.Net.bind(Net.java:444) 
     at sun.nio.ch.Net.bind(Net.java:436) 
     at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:214) 
     at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:74) 
     at org.spark-project.jetty.server.nio.SelectChannelConnector.open(SelectChannelConnector.java:187) 
     at org.spark-project.jetty.server.AbstractConnector.doStart(AbstractConnector.java:316) 
     at org.spark-project.jetty.server.nio.SelectChannelConnector.doStart(SelectChannelConnector.java:265) 
     at org.spark-project.jetty.util.component.AbstractLifeCycle.start(AbstractLifeCycle.java:64) 
     at org.spark-project.jetty.server.Server.doStart(Server.java:293) 
     at org.spark-project.jetty.util.component.AbstractLifeCycle.start(AbstractLifeCycle.java:64) 
     at org.apache.spark.ui.JettyUtils$.org$apache$spark$ui$JettyUtils$$connect$1(JettyUtils.scala:199) 
     at org.apache.spark.ui.JettyUtils$$anonfun$2.apply(JettyUtils.scala:209) 
     at org.apache.spark.ui.JettyUtils$$anonfun$2.apply(JettyUtils.scala:209) 
     at org.apache.spark.util.Utils$$anonfun$startServiceOnPort$1.apply$mcVI$sp(Utils.scala:1837) 
     at scala.collection.immutable.Range.foreach$mVc$sp(Range.scala:141) 
     at org.apache.spark.util.Utils$.startServiceOnPort(Utils.scala:1828) 
     at org.apache.spark.ui.JettyUtils$.startJettyServer(JettyUtils.scala:209) 
     at org.apache.spark.ui.WebUI.bind(WebUI.scala:120) 
     at org.apache.spark.SparkContext$$anonfun$12.apply(SparkContext.scala:309) 
     at org.apache.spark.SparkContext$$anonfun$12.apply(SparkContext.scala:309) 
     at scala.Option.foreach(Option.scala:236) 
     at org.apache.spark.SparkContext.<init>(SparkContext.scala:309) 
     at org.apache.spark.streaming.StreamingContext$.createNewSparkContext(StreamingContext.scala:643) 
     at org.apache.spark.streaming.StreamingContext.<init>(StreamingContext.scala:75) 
     at $line35.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:29) 
     at $line35.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:34) 
     at $line35.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:36) 
     at $line35.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:38) 
     at $line35.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:40) 
     at $line35.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:42) 
     at $line35.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:44) 
     at $line35.$read$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:46) 
     at $line35.$read$$iwC$$iwC$$iwC$$iwC.<init>(<console>:48) 
     at $line35.$read$$iwC$$iwC$$iwC.<init>(<console>:50) 
     at $line35.$read$$iwC$$iwC.<init>(<console>:52) 
     at $line35.$read$$iwC.<init>(<console>:54) 
     at $line35.$read.<init>(<console>:56) 
     at $line35.$read$.<init>(<console>:60) 
     at $line35.$read$.<clinit>(<console>) 
     at $line35.$eval$.<init>(<console>:7) 
     at $line35.$eval$.<clinit>(<console>) 
     at $line35.$eval.$print(<console>) 
     at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
     at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 
     at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
     at java.lang.reflect.Method.invoke(Method.java:606) 
     at org.apache.spark.repl.SparkIMain$ReadEvalPrint.call(SparkIMain.scala:1065) 
     at org.apache.spark.repl.SparkIMain$Request.loadAndRun(SparkIMain.scala:1338) 
     at org.apache.spark.repl.SparkIMain.loadAndRunReq$1(SparkIMain.scala:840) 
     at org.apache.spark.repl.SparkIMain.interpret(SparkIMain.scala:871) 
     at org.apache.spark.repl.SparkIMain.interpret(SparkIMain.scala:819) 
     at org.apache.spark.repl.SparkILoop.reallyInterpret$1(SparkILoop.scala:856) 
     at org.apache.spark.repl.SparkILoop.interpretStartingWith(SparkILoop.scala:901) 
     at org.apache.spark.repl.SparkILoop.command(SparkILoop.scala:813) 
     at org.apache.spark.repl.SparkILoop.processLine$1(SparkILoop.scala:656) 
     at org.apache.spark.repl.SparkILoop.innerLoop$1(SparkILoop.scala:664) 
     at org.apache.spark.repl.SparkILoop.org$apache$spark$repl$SparkILoop$$loop(SparkILoop.scala:669) 
     at org.apache.spark.repl.SparkILoop$$anonfun$org$apache$spark$repl$SparkILoop$$process$1.apply$mcZ$sp(SparkILoop.scala:996) 
     at org.apache.spark.repl.SparkILoop$$anonfun$org$apache$spark$repl$SparkILoop$$process$1.apply(SparkILoop.scala:944) 
     at org.apache.spark.repl.SparkILoop$$anonfun$org$apache$spark$repl$SparkILoop$$process$1.apply(SparkILoop.scala:944) 
     at scala.tools.nsc.util.ScalaClassLoader$.savingContextLoader(ScalaClassLoader.scala:135) 
     at org.apache.spark.repl.SparkILoop.org$apache$spark$repl$SparkILoop$$process(SparkILoop.scala:944) 
     at org.apache.spark.repl.SparkILoop.process(SparkILoop.scala:1058) 
     at org.apache.spark.repl.Main$.main(Main.scala:31) 
     at org.apache.spark.repl.Main.main(Main.scala) 
     at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
     at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 
     at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
     at java.lang.reflect.Method.invoke(Method.java:606) 
     at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:569) 
     at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:166) 
     at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:189) 
     at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:110) 
     at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala) 
15/06/05 09:06:08 WARN AbstractLifeCycle: FAILED [email protected]: java.net.BindException: Address already in use 
java.net.BindException: Address already in use 
     at sun.nio.ch.Net.bind0(Native Method) 
     at sun.nio.ch.Net.bind(Net.java:444) 
     at sun.nio.ch.Net.bind(Net.java:436) 
     at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:214) 
     at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:74) 
     at org.spark-project.jetty.server.nio.SelectChannelConnector.open(SelectChannelConnector.java:187) 
     at org.spark-project.jetty.server.AbstractConnector.doStart(AbstractConnector.java:316) 
     at org.spark-project.jetty.server.nio.SelectChannelConnector.doStart(SelectChannelConnector.java:265) 
     at org.spark-project.jetty.util.component.AbstractLifeCycle.start(AbstractLifeCycle.java:64) 
     at org.spark-project.jetty.server.Server.doStart(Server.java:293) 
     at org.spark-project.jetty.util.component.AbstractLifeCycle.start(AbstractLifeCycle.java:64) 
     at org.apache.spark.ui.JettyUtils$.org$apache$spark$ui$JettyUtils$$connect$1(JettyUtils.scala:199) 
     at org.apache.spark.ui.JettyUtils$$anonfun$2.apply(JettyUtils.scala:209) 
     at org.apache.spark.ui.JettyUtils$$anonfun$2.apply(JettyUtils.scala:209) 
     at org.apache.spark.util.Utils$$anonfun$startServiceOnPort$1.apply$mcVI$sp(Utils.scala:1837) 
     at scala.collection.immutable.Range.foreach$mVc$sp(Range.scala:141) 
     at org.apache.spark.util.Utils$.startServiceOnPort(Utils.scala:1828) 
     at org.apache.spark.ui.JettyUtils$.startJettyServer(JettyUtils.scala:209) 
     at org.apache.spark.ui.WebUI.bind(WebUI.scala:120) 
     at org.apache.spark.SparkContext$$anonfun$12.apply(SparkContext.scala:309) 
     at org.apache.spark.SparkContext$$anonfun$12.apply(SparkContext.scala:309) 
     at scala.Option.foreach(Option.scala:236) 
     at org.apache.spark.SparkContext.<init>(SparkContext.scala:309) 
     at org.apache.spark.streaming.StreamingContext$.createNewSparkContext(StreamingContext.scala:643) 
     at org.apache.spark.streaming.StreamingContext.<init>(StreamingContext.scala:75) 
     at $line35.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:29) 
     at $line35.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:34) 
     at $line35.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:36) 
     at $line35.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:38) 
     at $line35.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:40) 
     at $line35.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:42) 
     at $line35.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:44) 
     at $line35.$read$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:46) 
     at $line35.$read$$iwC$$iwC$$iwC$$iwC.<init>(<console>:48) 
     at $line35.$read$$iwC$$iwC$$iwC.<init>(<console>:50) 
     at $line35.$read$$iwC$$iwC.<init>(<console>:52) 
     at $line35.$read$$iwC.<init>(<console>:54) 
     at $line35.$read.<init>(<console>:56) 
     at $line35.$read$.<init>(<console>:60) 
     at $line35.$read$.<clinit>(<console>) 
     at $line35.$eval$.<init>(<console>:7) 
     at $line35.$eval$.<clinit>(<console>) 
     at $line35.$eval.$print(<console>) 
     at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
     at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 
     at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
     at java.lang.reflect.Method.invoke(Method.java:606) 
     at org.apache.spark.repl.SparkIMain$ReadEvalPrint.call(SparkIMain.scala:1065) 
     at org.apache.spark.repl.SparkIMain$Request.loadAndRun(SparkIMain.scala:1338) 
     at org.apache.spark.repl.SparkIMain.loadAndRunReq$1(SparkIMain.scala:840) 
     at org.apache.spark.repl.SparkIMain.interpret(SparkIMain.scala:871) 
     at org.apache.spark.repl.SparkIMain.interpret(SparkIMain.scala:819) 
     at org.apache.spark.repl.SparkILoop.reallyInterpret$1(SparkILoop.scala:856) 
     at org.apache.spark.repl.SparkILoop.interpretStartingWith(SparkILoop.scala:901) 
     at org.apache.spark.repl.SparkILoop.command(SparkILoop.scala:813) 
     at org.apache.spark.repl.SparkILoop.processLine$1(SparkILoop.scala:656) 
     at org.apache.spark.repl.SparkILoop.innerLoop$1(SparkILoop.scala:664) 
     at org.apache.spark.repl.SparkILoop.org$apache$spark$repl$SparkILoop$$loop(SparkILoop.scala:669) 
     at org.apache.spark.repl.SparkILoop$$anonfun$org$apache$spark$repl$SparkILoop$$process$1.apply$mcZ$sp(SparkILoop.scala:996) 
     at org.apache.spark.repl.SparkILoop$$anonfun$org$apache$spark$repl$SparkILoop$$process$1.apply(SparkILoop.scala:944) 
     at org.apache.spark.repl.SparkILoop$$anonfun$org$apache$spark$repl$SparkILoop$$process$1.apply(SparkILoop.scala:944) 
     at scala.tools.nsc.util.ScalaClassLoader$.savingContextLoader(ScalaClassLoader.scala:135) 
     at org.apache.spark.repl.SparkILoop.org$apache$spark$repl$SparkILoop$$process(SparkILoop.scala:944) 
     at org.apache.spark.repl.SparkILoop.process(SparkILoop.scala:1058) 
     at org.apache.spark.repl.Main$.main(Main.scala:31) 
     at org.apache.spark.repl.Main.main(Main.scala) 
     at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
     at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 
     at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
     at java.lang.reflect.Method.invoke(Method.java:606) 
     at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:569) 
     at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:166) 
     at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:189) 
     at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:110) 
     at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala) 
15/06/05 09:06:08 INFO ContextHandler: stopped o.s.j.s.ServletContextHandler{/stages/stage/kill,null} 
15/06/05 09:06:08 INFO ContextHandler: stopped o.s.j.s.ServletContextHandler{/,null} 
15/06/05 09:06:08 INFO ContextHandler: stopped o.s.j.s.ServletContextHandler{/static,null} 
15/06/05 09:06:08 INFO ContextHandler: stopped o.s.j.s.ServletContextHandler{/executors/threadDump/json,null} 
15/06/05 09:06:08 INFO ContextHandler: stopped o.s.j.s.ServletContextHandler{/executors/threadDump,null} 
15/06/05 09:06:08 INFO ContextHandler: stopped o.s.j.s.ServletContextHandler{/executors/json,null} 
15/06/05 09:06:08 INFO ContextHandler: stopped o.s.j.s.ServletContextHandler{/executors,null} 
15/06/05 09:06:08 INFO ContextHandler: stopped o.s.j.s.ServletContextHandler{/environment/json,null} 
15/06/05 09:06:08 INFO ContextHandler: stopped o.s.j.s.ServletContextHandler{/environment,null} 
15/06/05 09:06:08 INFO ContextHandler: stopped o.s.j.s.ServletContextHandler{/storage/rdd/json,null} 
15/06/05 09:06:08 INFO ContextHandler: stopped o.s.j.s.ServletContextHandler{/storage/rdd,null} 
15/06/05 09:06:08 INFO ContextHandler: stopped o.s.j.s.ServletContextHandler{/storage/json,null} 
15/06/05 09:06:08 INFO ContextHandler: stopped o.s.j.s.ServletContextHandler{/storage,null} 
15/06/05 09:06:08 INFO ContextHandler: stopped o.s.j.s.ServletContextHandler{/stages/pool/json,null} 
15/06/05 09:06:08 INFO ContextHandler: stopped o.s.j.s.ServletContextHandler{/stages/pool,null} 
15/06/05 09:06:08 INFO ContextHandler: stopped o.s.j.s.ServletContextHandler{/stages/stage/json,null} 
15/06/05 09:06:08 INFO ContextHandler: stopped o.s.j.s.ServletContextHandler{/stages/stage,null} 
15/06/05 09:06:08 INFO ContextHandler: stopped o.s.j.s.ServletContextHandler{/stages/json,null} 
15/06/05 09:06:08 INFO ContextHandler: stopped o.s.j.s.ServletContextHandler{/stages,null} 
15/06/05 09:06:08 INFO ContextHandler: stopped o.s.j.s.ServletContextHandler{/jobs/job/json,null} 
15/06/05 09:06:08 INFO ContextHandler: stopped o.s.j.s.ServletContextHandler{/jobs/job,null} 
15/06/05 09:06:08 INFO ContextHandler: stopped o.s.j.s.ServletContextHandler{/jobs/json,null} 
15/06/05 09:06:08 INFO ContextHandler: stopped o.s.j.s.ServletContextHandler{/jobs,null} 
15/06/05 09:06:08 WARN Utils: Service 'SparkUI' could not bind on port 4040. Attempting port 4041. 
15/06/05 09:06:08 INFO Server: jetty-8.y.z-SNAPSHOT 
15/06/05 09:06:08 INFO AbstractConnector: Started [email protected]:4041 
15/06/05 09:06:08 INFO Utils: Successfully started service 'SparkUI' on port 4041. 
15/06/05 09:06:08 INFO SparkUI: Started SparkUI at http://localhost:4041 
15/06/05 09:06:08 INFO SparkContext: Added JAR file:/home/vagrant/spark/external/kafka-assembly/target/spark-streaming-kafka-assembly_2.10-1.3.1.jar at http://10.0.2.15:55697/jars/spark-streaming-kafka-assembly_2.10-1.3.1.jar with timestamp 1433495168735 
15/06/05 09:06:08 INFO Executor: Starting executor ID <driver> on host localhost 
15/06/05 09:06:08 INFO AkkaUtils: Connecting to HeartbeatReceiver: akka.tcp://[email protected]:51270/user/HeartbeatReceiver 
15/06/05 09:06:08 INFO NettyBlockTransferService: Server created on 37393 
15/06/05 09:06:08 INFO BlockManagerMaster: Trying to register BlockManager 
15/06/05 09:06:08 INFO BlockManagerMasterActor: Registering block manager localhost:37393 with 267.3 MB RAM, BlockManagerId(<driver>, localhost, 37393) 
15/06/05 09:06:08 INFO BlockManagerMaster: Registered BlockManager 
org.apache.spark.SparkException: Only one SparkContext may be running in this JVM (see SPARK-2243). To ignore this error, set spark.driver.allowMultipleContexts = true. The currently running SparkContext was created at: 
org.apache.spark.SparkContext.<init>(SparkContext.scala:80) 
org.apache.spark.repl.SparkILoop.createSparkContext(SparkILoop.scala:1016) 
$iwC$$iwC.<init>(<console>:9) 
$iwC.<init>(<console>:18) 
<init>(<console>:20) 
.<init>(<console>:24) 
.<clinit>(<console>) 
.<init>(<console>:7) 
.<clinit>(<console>) 
$print(<console>) 
sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 
sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
java.lang.reflect.Method.invoke(Method.java:606) 
org.apache.spark.repl.SparkIMain$ReadEvalPrint.call(SparkIMain.scala:1065) 
org.apache.spark.repl.SparkIMain$Request.loadAndRun(SparkIMain.scala:1338) 
org.apache.spark.repl.SparkIMain.loadAndRunReq$1(SparkIMain.scala:840) 
org.apache.spark.repl.SparkIMain.interpret(SparkIMain.scala:871) 
org.apache.spark.repl.SparkIMain.interpret(SparkIMain.scala:819) 
org.apache.spark.repl.SparkILoop.reallyInterpret$1(SparkILoop.scala:856) 
     at org.apache.spark.SparkContext$$anonfun$assertNoOtherContextIsRunning$1$$anonfun$apply$10.apply(SparkContext.scala:1812) 
     at org.apache.spark.SparkContext$$anonfun$assertNoOtherContextIsRunning$1$$anonfun$apply$10.apply(SparkContext.scala:1808) 
     at scala.Option.foreach(Option.scala:236) 
     at org.apache.spark.SparkContext$$anonfun$assertNoOtherContextIsRunning$1.apply(SparkContext.scala:1808) 
     at org.apache.spark.SparkContext$$anonfun$assertNoOtherContextIsRunning$1.apply(SparkContext.scala:1795) 
     at scala.Option.foreach(Option.scala:236) 
     at org.apache.spark.SparkContext$.assertNoOtherContextIsRunning(SparkContext.scala:1795) 
     at org.apache.spark.SparkContext$.setActiveContext(SparkContext.scala:1847) 
     at org.apache.spark.SparkContext.<init>(SparkContext.scala:1754) 
     at org.apache.spark.streaming.StreamingContext$.createNewSparkContext(StreamingContext.scala:643) 
     at org.apache.spark.streaming.StreamingContext.<init>(StreamingContext.scala:75) 
     at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:29) 
     at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:34) 
     at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:36) 
     at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:38) 
     at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:40) 
     at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:42) 
     at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:44) 
     at $iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:46) 
     at $iwC$$iwC$$iwC$$iwC.<init>(<console>:48) 
     at $iwC$$iwC$$iwC.<init>(<console>:50) 
     at $iwC$$iwC.<init>(<console>:52) 
     at $iwC.<init>(<console>:54) 
     at <init>(<console>:56) 
     at .<init>(<console>:60) 
     at .<clinit>(<console>) 
     at .<init>(<console>:7) 
     at .<clinit>(<console>) 
     at $print(<console>) 
     at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
     at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 
     at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
     at java.lang.reflect.Method.invoke(Method.java:606) 
     at org.apache.spark.repl.SparkIMain$ReadEvalPrint.call(SparkIMain.scala:1065) 
     at org.apache.spark.repl.SparkIMain$Request.loadAndRun(SparkIMain.scala:1338) 
     at org.apache.spark.repl.SparkIMain.loadAndRunReq$1(SparkIMain.scala:840) 
     at org.apache.spark.repl.SparkIMain.interpret(SparkIMain.scala:871) 
     at org.apache.spark.repl.SparkIMain.interpret(SparkIMain.scala:819) 
     at org.apache.spark.repl.SparkILoop.reallyInterpret$1(SparkILoop.scala:856) 
     at org.apache.spark.repl.SparkILoop.interpretStartingWith(SparkILoop.scala:901) 
     at org.apache.spark.repl.SparkILoop.command(SparkILoop.scala:813) 
     at org.apache.spark.repl.SparkILoop.processLine$1(SparkILoop.scala:656) 
     at org.apache.spark.repl.SparkILoop.innerLoop$1(SparkILoop.scala:664) 
     at org.apache.spark.repl.SparkILoop.org$apache$spark$repl$SparkILoop$$loop(SparkILoop.scala:669) 
     at org.apache.spark.repl.SparkILoop$$anonfun$org$apache$spark$repl$SparkILoop$$process$1.apply$mcZ$sp(SparkILoop.scala:996) 
     at org.apache.spark.repl.SparkILoop$$anonfun$org$apache$spark$repl$SparkILoop$$process$1.apply(SparkILoop.scala:944) 
     at org.apache.spark.repl.SparkILoop$$anonfun$org$apache$spark$repl$SparkILoop$$process$1.apply(SparkILoop.scala:944) 
     at scala.tools.nsc.util.ScalaClassLoader$.savingContextLoader(ScalaClassLoader.scala:135) 
     at org.apache.spark.repl.SparkILoop.org$apache$spark$repl$SparkILoop$$process(SparkILoop.scala:944) 
     at org.apache.spark.repl.SparkILoop.process(SparkILoop.scala:1058) 
     at org.apache.spark.repl.Main$.main(Main.scala:31) 
     at org.apache.spark.repl.Main.main(Main.scala) 
     at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
     at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 
     at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
     at java.lang.reflect.Method.invoke(Method.java:606) 
     at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:569) 
     at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:166) 
     at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:189) 
     at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:110) 
     at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

मुझे आश्चर्य है कि क्यों StreamingContext त्रुटि बनाता है। क्या आप समस्या का अनावरण कर सकते हैं?

मैंने 4040 पोर्ट भी चेक किया।

spark-shell चलाने से पहले यह खोला बंदरगाह सूची है।

[email protected]:~$ netstat -an | grep "LISTEN " 
tcp  0  0 0.0.0.0:22    0.0.0.0:*    LISTEN 
tcp  0  0 0.0.0.0:47078   0.0.0.0:*    LISTEN 
tcp  0  0 0.0.0.0:111    0.0.0.0:*    LISTEN 
tcp6  0  0 :::22     :::*     LISTEN 
tcp6  0  0 :::44461    :::*     LISTEN 
tcp6  0  0 :::111     :::*     LISTEN 
tcp6  0  0 :::80     :::*     LISTEN

और यह spark-shell चलाने के बाद खोला बंदरगाह सूची है।

[email protected]:~$ netstat -an | grep "LISTEN " 
tcp  0  0 0.0.0.0:22    0.0.0.0:*    LISTEN 
tcp  0  0 0.0.0.0:47078   0.0.0.0:*    LISTEN 
tcp  0  0 0.0.0.0:111    0.0.0.0:*    LISTEN 
tcp6  0  0 :::22     :::*     LISTEN 
tcp6  0  0 :::55233    :::*     LISTEN 
tcp6  0  0 :::4040     :::*     LISTEN 
tcp6  0  0 10.0.2.15:41545   :::*     LISTEN 
tcp6  0  0 :::44461    :::*     LISTEN 
tcp6  0  0 :::111     :::*     LISTEN 
tcp6  0  0 :::56784    :::*     LISTEN 
tcp6  0  0 :::80     :::*     LISTEN 
tcp6  0  0 :::39602    :::*     LISTEN

स्रोत

2015-06-05 Jinho Yoo

+0

आप खोल के भीतर एक और स्पार्क संदर्भ नहीं बना सकते हैं! स्पार्क का क्या संस्करण आप उपयोग कर रहे हैं? – eliasah

+0

मैंने गलत लॉग डाला। कृपया एक की समीक्षा करें। मेरा स्पार्क संस्करण 1.3.1 है। मैं वाग्रेंट द्वारा बनाई गई वीएम पर स्पार्क चला रहा हूं। –

+0

आपके पास आपके पोर्ट 4040 पर एक और प्रोग्राम चल रहा है! – eliasah

उत्तर

8

जब आप स्पार्क-खोल शुरू करते हैं तो एक डिफ़ॉल्ट स्पार्ककॉन्टेक्स्ट 'एससी' बनाया जाता है। कन्स्ट्रक्टर विधि जिसका आप उपयोग कर रहे हैं स्पार्ककॉन्टेक्स्ट का एक और उदाहरण बनाने की कोशिश करता है जो आपको नहीं करना चाहिए। क्या तुम सच में करना चाहिए, अतिभारित निर्माता

new StreamingContext(sparkContext: SparkContext, batchDuration: Duration)

का उपयोग कर तो अब अपने कोड इस तरह दिखना चाहिए StreamingContext के निर्माण के लिए मौजूदा sparkContext का उपयोग है

// Set the existing SparkContext's Master, AppName and other params 
sc.getConf.setMaster("local[2]").setAppName("NetworkWordCount").set("spark.ui.port", "44040") 
// Use 'sc' to create a Streaming context with 2 second batch interval 
val ssc = new StreamingContext(sc, Seconds(2))

स्रोत

2015-11-17 18:24:54 blueskin

4

आप स्पार्क config में एक संपत्ति का उपयोग करके स्पार्क यूआई बंदरगाह बदल सकते हैं:

spark.ui.port=44040

स्रोत

2015-06-05 10:46:25 Tinku

+0

बना सकता है क्या मैं पूछ सकता हूं कि शॉल्यूड मैं स्पार्क यूई बंदरगाह क्यों बदलता हूं? मुझे लगता है कि काफ्का के साथ स्पार्क संदर्भ में प्रवेश नहीं करने का कारण नहीं है। –

+0

यदि कोई अन्य प्रक्रिया 4040 पोर्ट का उपयोग करती है तो – Tinku

+0

@JinhoYoo बदल सकती है, यह शायद पहले ही स्पार्क इंस्टेंस चल रही है। आप पुरानी स्पार्क प्रक्रिया को समाप्त कर सकते हैं। – sheh

1

आप `चिंगारी से खोल 'लांच करता है तो मूल रूप से एक चिंगारी संदर्भ, अनुसूचित जाति, चल रहा है। यदि आपको स्ट्रीमिंग के लिए नया स्पार्क संदर्भ बनाना है तो आपको 4040 को छोड़कर एक और बंदरगाह का उपयोग करने की आवश्यकता है क्योंकि इसे प्रथम स्पार्क संदर्भ द्वारा आवंटित किया गया है।

आखिरकार, मैंने स्ट्रीमिंग प्रक्रिया के लिए एक और स्पार्क संदर्भ बनाने के लिए नीचे दिया गया कोड लिखा था।

import kafka.serializer.StringDecoder 
import org.apache.spark.streaming._ 
import org.apache.spark.streaming.kafka._ 
import org.apache.spark.SparkConf 


// Create context with 2 second batch interval 
val conf = new SparkConf().setMaster("local[2]").setAppName("NetworkWordCount").set("spark.ui.port", "44040").set("spark.driver.allowMultipleContexts", "true") 
val ssc = new StreamingContext(conf, Seconds(2)) 
....

समाधान का सुझाव देने वाले सभी के लिए धन्यवाद। ;-)

स्रोत

2015-06-08 02:34:15

1

मैं यहाँ इस जवाब की तलाश में आया : मैं स्पार्क खोल के माध्यम से कैसंद्रा से कनेक्ट करने की कोशिश कर रहा था। के बाद से वहाँ डिफ़ॉल्ट रूप से एक sparkContext अनुसूचित जाति चल रहा है, मैं एक त्रुटि हो रही थी:

Service 'SparkUI' could not bind on port 4040. Attempting port 4041.

सभी मैं करना पड़ा था:

sc.stop

[मैं जानता हूँ कि यह ऊपर सवाल का जवाब नहीं है।लेकिन ऐसा लगता है कि स्टैक ओवरफ्लो पर एकमात्र सवाल है जो खोज पर आता है और अन्य इसे उपयोगी पाते हैं]

स्रोत

2016-02-16 19:50:19

1

शायद एक ही मामला नहीं है, लेकिन मुझे "चेतावनी का उपयोग" जैसी ही चेतावनी थी। उपयोग: सेवा 'स्पार्कयू' बांध नहीं सका बंदरगाह 4040 पर। बंदरगाह 4041 का प्रयास। " मैंने मशीन को पुनरारंभ किया तो यह ठीक है। मैंने स्पार्क-खोल शुरू किया और स्कैला देखा>

स्रोत

2016-10-02 10:00:15 kerabanaga

0

स्पार्क-खोल शुरू करते समय मुझे एक ही समस्या का सामना करना पड़ा। मैं नीचे प्रक्रिया द्वारा इसे हल, पहले मैं चिंगारी/sbin निर्देशिका की ओर जाना है, तो मैं इन कमांड द्वारा चिंगारी सत्र शुरू किया था,

./start-all.sh

या आप उसी के लिए ./start-master.sh और ./start-slave.sh उपयोग कर सकते हैं। अब यदि आप spark-shell या pyspark या कोई अन्य स्पार्क घटक चलाएंगे तो यह स्वचालित रूप से आपके लिए स्पार्क संदर्भ ऑब्जेक्ट sc बनाएगा।

स्रोत

2017-10-28 07:50:01

संबंधित मुद्दे

 संबंधित मुद्दे