आयात intellj में Spark स्रोत कोड, त्रुटि का निर्माण: नहीं मिला: प्रकार SparkFlumeProtocol और EventBatch

Question

इंटेलीजे: 14.1.4

स्पार्क: 1.5 रिलीज स्रोत कोड

मैं Spark स्रोत कोड का आयात कर रहा हूँ IntellJ में, और Spark website पर निम्न चरणों का पालन करें।

मुझे परियोजना के निर्माण और संकलन के दौरान नीचे त्रुटियां मिल रही हैं। मैंने चारों ओर गुमराह किया है और कोशिश की है कि suggested here in spark user list "स्पार्क प्रोजेक्ट बाहरी फ्लम सिंक" के लिए मेवेन टूल बार में "स्रोत जेनरेट करें और अपडेट फ़ोल्डर्स" के लिए, लेकिन फिर भी वही त्रुटियों के साथ।

मुझे पूरा यकीन है कि यह एक हल समस्या है क्योंकि अन्य सभी वर्ग सफलतापूर्वक हल किए गए हैं। शायद मैं IntelliJ सही ढंग से उपयोग नहीं कर रहा हूँ? कोई सुझाव कृपया? आपका बहुत बहुत धन्यवाद।

Error:(45, 66) not found: type SparkFlumeProtocol 
    val transactionTimeout: Int, val backOffInterval: Int) extends SparkFlumeProtocol with Logging { 
                   ^
Error:(70, 39) not found: type EventBatch 
    override def getEventBatch(n: Int): EventBatch = { 

Answer 1

मैं समस्या हल हो गया है, और यह पता चला है कि "स्पार्क परियोजना बाहरी Flume सिंक" बाहर रखा गया जब डिफ़ॉल्ट सेटिंग्स के तहत Spark स्रोत कोड का आयात है।

क्या मैंने किया:

1. फ़ाइल -> परियोजना संरचना -> मॉड्यूल -> "चिंगारी-स्ट्रीमिंग-Flume-sink_2.10" - फ़ोल्डरों की पेड़ प्रदर्शन में> स्रोत
2. , शुरू में "लक्ष्य" फ़ोल्डर को बाहर रखा गया है, लेकिन "स्पार्कफ्लूमप्रोटोकॉल" और "इवेंटबैच" कक्षाएं इस फ़ोल्डर में संकलित की गई हैं।
3. "लक्ष्य" फ़ोल्डर को "स्रोत" के रूप में सेट करें, फिर "स्केल-2.10" को छोड़कर "लक्ष्य" के तहत "बहिष्कृत" के रूप में सभी को छोड़ दें, संलग्न स्क्रीनशॉट देखें।

इस तरह, संकलित कक्षाएं शामिल की जाती हैं और पुन: निर्माण परियोजना के बाद वर्गों को सही ढंग से हल किया जा सकता है।

--- अद्यतन जून-8-2016 --------

या अधिक विशेष रूप से, इस मॉड्यूल के पूरे रास्ते

प्रकार कृपया ध्यान दें और रंग है, यह पैकेज का नाम

package org.apache.spark.streaming.flume.sink; 

को प्रभावित करेगा