कफका 2.0.0 निर्भरताओं के साथ स्पार्क स्ट्रीमिंग

Question

मैं स्पार्क-स्ट्रीमिंग 2.0.0 का उपयोग करके एक कफका 0.8 विषय का उपभोग करने की कोशिश कर रहा हूं, मैं अपनी build.sbt फ़ाइल

में इन निर्भरताओं का उपयोग करने की कोशिश की गई आवश्यक निर्भरताओं की पहचान करने की कोशिश कर रहा हूं

libraryDependencies += "org.apache.spark" %% "spark-streaming_2.11" % "2.0.0" 

जब मैं एसबीटी पैकेज चलाने मैं सभी तीन इन जार के लिए अनसुलझे निर्भरता हो रही है,

लेकिन इन जार मौजूद है

https://mvnrepository.com/artifact/org.apache.spark/spark-streaming-kafka-0-8_2.11/2.0.0

इस समस्या को दूर करने में मदद, मैं स्काला के लिए नया हूँ इसलिए मुझे पता है अगर मैं कुछ नहीं कर रहा हूँ तो कृपया सही

Answer 1

समस्या यह है कि आप स्काला संस्करण और भी%% का उपयोग कर जो की कोशिश करता है निर्दिष्ट कर रहे है यह अनुमान लगाने के लिए कि आप किस स्कैला संस्करण का उपयोग कर रहे हैं।

या तो हटा दें एक %:

libraryDependencies += "org.apache.spark" % "spark-core_2.11" % "2.0.0" 
libraryDependencies += "org.apache.spark" % "spark-streaming_2.11" % "2.0.0" 
libraryDependencies += "org.apache.spark" % "spark-streaming-kafka-0-8_2.11" % "2.0.0" 

या स्काला संस्करण को निकालने:

libraryDependencies += "org.apache.spark" %% "spark-core" % "2.0.0" 
libraryDependencies += "org.apache.spark" %% "spark-streaming" % "2.0.0" 
libraryDependencies += "org.apache.spark" %% "spark-streaming-kafka-0-8" % "2.0.0"