2015-07-05 13 views
5

मैं सिर्फ चिंगारी के नवीनतम संस्करण को डाउनलोड किया है और जब मैं चिंगारी खोल शुरू कर दिया मैं निम्नलिखित त्रुटि मिली शुरू करने:त्रुटि जब चिंगारी खोल

java.net.BindException: Failed to bind to: /192.168.1.254:0: Service 'sparkDriver' failed after 16 retries! 
    at org.jboss.netty.bootstrap.ServerBootstrap.bind(ServerBootstrap.java:272) 
    at akka.remote.transport.netty.NettyTransport$$anonfun$listen$1.apply(NettyTransport.scala:393) 
    at akka.remote.transport.netty.NettyTransport$$anonfun$listen$1.apply(NettyTransport.scala:389) 

... 
... 

java.lang.NullPointerException 
    at org.apache.spark.sql.SQLContext.<init>(SQLContext.scala:193) 
    at org.apache.spark.sql.hive.HiveContext.<init>(HiveContext.scala:71) 
    at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) 
    at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57) 
    at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45) 
    at java.lang.reflect.Constructor.newInstance(Constructor.java:525) 
    at org.apache.spark.repl.SparkILoop.createSQLContext(SparkILoop.scala:1028) 
    at $iwC$$iwC.<init>(<console>:9) 
... 
... 
<console>:10: error: not found: value sqlContext 
     import sqlContext.implicits._ 
      ^
<console>:10: error: not found: value sqlContext 
     import sqlContext.sql 
      ^

वहाँ कुछ है कि मैं चिंगारी की स्थापना में याद किया है?

+0

'स्पार्क-खोल' चलाकर, यह सी के तहत निर्देशिका \ tmp \ hive बनाता है:, एक ही समस्या \ त्रुटि थी और यह उस फ़ोल्डर की अनुमतियों के साथ एक समस्या साबित हुई। बस इसे अपने% HADOOP_HOME% \ bin के अंतर्गत ले जाया गया और cmd को व्यवस्थापक के रूप में पुनरारंभ करें। स्टैक ओवरफ़्लो पर अनुशंसित किसी भी संभावित फिक्स के माध्यम से यह मेरे लिए एक आकर्षण की तरह काम करता था। – paranza

उत्तर

1

SPARK-8162 देखें।

ऐसा लगता है कि यह केवल 1.4.1 और 1.5.0 को प्रभावित करता है - आप शायद नवीनतम रिलीज (1.4.0 लिखने के समय) को चलाने से सबसे अच्छे हैं।

+0

मैंने 1.4.0, 1.3.1, और 1.3.0 के प्रीबिल्ट संस्करणों का प्रयास किया है और उन सभी में एक ही त्रुटि है। मैं ओएसएक्स पर जावा 7 का उपयोग कर रहा हूं। – JRR

4

स्पार्क एनवी चर SPARK_LOCAL_IP को स्थानीय आईपी पते पर सेट करने का प्रयास करें।

मेरे मामले में, मैं एक अमेज़ॅन ईसी 2 लिनक्स उदाहरण पर स्पार्क चला रहा था। spark-shell आपके जैसा एक त्रुटि संदेश के साथ काम करना बंद कर दिया। मैं स्पार्क कॉन्फ़िगरेशन फ़ाइल spark-env.conf पर निम्न की तरह सेटिंग जोड़कर इसे ठीक करने में सक्षम था।

export SPARK_LOCAL_IP=172.30.43.105

भी ~/.profile या ~/.bashrc में सेट किया जा सका।

इसके अलावा /etc/hosts

1

में मेजबान सेटिंग्स की जाँच मैं एक ही समस्या का सामना कर रहा था। सबसे पहले .bashrc गया और

export SPARK_LOCAL_IP=172.30.43.105 

डाल तो गोटो

cd $HADOOP_HOME/bin 

तो निम्न आदेश

hdfs dfsadmin -safemode leave 

यह सिर्फ namenode बंद के अपने safemode स्विच चलाते हैं।

फिर स्पार्क होम फ़ोल्डर या/बिन से मेटास्टोर_डीबी फ़ोल्डर हटाएं। यह आम तौर पर उस फ़ोल्डर में होगा जहां से आप आमतौर पर स्पार्क सत्र शुरू करते हैं।

तो मैं इस

spark-shell --master "spark://localhost:7077" 

उपयोग करते हुए मेरे चिंगारी से खोल भाग गया और देखा मैं sqlContext.implicits._ त्रुटि मिलती है didnot।

संबंधित मुद्दे