2016-08-10 8 views
6

निम्नलिखित कोड स्पार्क 1.5.2 के साथ काम करता है लेकिन स्पार्क 2.0.0 के साथ नहीं। मैं जावा 1.8 का उपयोग कर रहा हूँ।स्पार्क 2.0.0 Arrays.asList काम नहीं कर रहा है - असंगत प्रकार

final SparkConf sparkConf = new SparkConf(); 
sparkConf.setMaster("local[4]"); // Four threads 
final JavaSparkContext javaSparkContext = new JavaSparkContext(sparkConf); 
final JavaRDD<String> javaRDDLines = javaSparkContext.textFile("4300.txt"); 
final JavaRDD<String> javaRDDWords = javaRDDLines.flatMap(line -> Arrays.asList(line.split(" "))); 

मैं त्रुटि निम्न मिल

मैं यह पता लगाने में असमर्थ हूँ अगर स्पार्क एपीआई बदल गया है या कुछ और है। कृपया मदद करे। धन्यवाद।

+0

यह स्पार्क की क्विकस्टार्ट मार्गदर्शिका के वर्तमान संस्करण में भी गलत है! http://spark.apache.org/docs/latest/quick-start.html – vefthym

उत्तर

13

2.0 में, FlatMapFunction.call()Iterable के बजाय Iterator देता है। इसे आज़माएं:

JavaRDD<String> javaRDDWords = javaRDDLines.flatMap(line -> Arrays.asList(line.split(" ")).iterator()) 
संबंधित मुद्दे