[英]Convert an JavaRDD<ArrayList<T>> to JavaRDD<T>
是否有使用Apache-Spark的Java API将JavaRDD<ArrayList<T>>
转换为JavaRDD<T>
的直接方法?
JavaPairRDD<NullWritable, ArrayList<Record>> baseRDD = sc.newAPIHadoopFile(args[2], InputFormat2.class, NullWritable.class,ArrayList.class, conf);
JavaRDD<ArrayList<Record>> mapLines1 = baseRDD.values();
我想将JavaRDD<ArrayList<Record>>
转换为JavaRDD<Record>
。
您可以简单地使用flatMap
:
rdd.flatMap(new FlatMapFunction<ArrayList<Record>, Record>() {
@Override
public Iterable<Record> call(ArrayList<Record> records) {
return records;
}
});
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.