转换 JavaRDD <List<SomeClass> &gt; 到 JavaRDD<SomeClass>

Question

我有一个类对象列表的 JavaRDD。 我想将它展平为类对象的 JaveRDD，以便 JavaRDD<{1, 2, 3, 4}, {5, 6, 7}> 转到 JavaRDD<1, 2, 3, 4, 5, 6, 7 >

在这篇文章中， 将 RDD 列表转换为 spark 中单个元素的 RDD一个解决方案是

val newrdd = rdd.flatmap(line => line)

然而， line=>line 是 scala（我认为）我试过了

rdd.flatmap(line-> line)

它给出了错误

“不存在类型变量 U 的实例，因此 List 符合 Iterator”

Answer 1

您传递给flatMap的函数应该返回java.util.Iterator<T> ，而不是List<T> 。 这样做就足够了：

JavaRDD<SomeClass> newRdd = rdd.flatMap(List::iterator);