मैंने अभी स्पार्क के साथ शुरुआत की है। मेरे पास स्पार्क के साथ सीडीएच 5 स्थापित है। लेकिन जब मैं इसे sparkcontext इस्तेमाल करने की कोशिश है कि मैं इस बारे में शोध किया और error: not found: value scस्पार्क: त्रुटि नहीं मिली एससी
पाया और ./spark-shell साथ चिंगारी संदर्भ शुरू करने के लिए कोशिश की है
<console>:17: error: not found: value sc
val distdata = sc.parallelize(data)
नीचे के रूप में त्रुटि देता है। यह त्रुटि No such File or Directory
आप शुरू spark-shell./ के साथ शुरू करता है, तो आप अपने सटीक निर्देशिका या path/to/spark-shell में हैं आप कहीं और कर रहे हैं या तो कर सकते हैं देता है।
import org.apache.spark.SparkContext
import org.apache.spark.SparkConf
val conf = new SparkConf().setAppName("Simple Application")
val sc = new SparkContext(conf)
पथ के लिए चिंगारी निर्देशिका जोड़ें तो आप कहीं से भी चिंगारी से खोल उपयोग कर सकते हैं:
इसके अलावा, आप spark-submit साथ एक स्क्रिप्ट चला रहे हैं, आप प्रारंभ करने में scSparkContext के रूप में पहली जरूरत है।
यदि आप एक चिंगारी से प्रस्तुत काम में प्रयोग कर रहे हैं एक चिंगारी संदर्भ का उपयोग कर बनाने के लिए import org.apache.spark.SparkContext जोड़ें:
val sc = new SparkContext(conf)
जहां conf पहले से ही परिभाषित किया गया है।
एक नया टर्मिनल शुरू करना मेरे मामले में समस्या को हल करता है।
धन्यवाद। मैंने उन सभी चरणों को बिल्कुल दोहराया है। फिर भी यह एक ही त्रुटि देता है। –
क्या आप वाकई 'स्पार्क-शैल' का सही मार्ग प्रदान कर रहे हैं? यह डिफ़ॉल्ट रूप से आपके सिस्टम '/ bin' में नहीं है, आपको इसे '/ path/to/spark-shell' – Nhor
जैसे निष्पादित करना होगा, यही वह है जो मैं कर रहा था। वैल डेटा = ऐरे (1, 2, 3, 4, 5) वैल distData = sc.parallelize (डेटा)। मैं स्पार्क खोल के लिए रास्ता कैसे ढूंढ सकता हूं? –