轉換JavaRDD <ArrayList<T> &gt;到JavaRDD <T>

Question

是否有使用Apache-Spark的Java API將JavaRDD<ArrayList<T>>轉換為JavaRDD<T>的直接方法？

JavaPairRDD<NullWritable, ArrayList<Record>> baseRDD = sc.newAPIHadoopFile(args[2], InputFormat2.class, NullWritable.class,ArrayList.class, conf);  
JavaRDD<ArrayList<Record>> mapLines1 = baseRDD.values();

我想將JavaRDD<ArrayList<Record>>轉換為JavaRDD<Record> 。

Answer 1

您可以簡單地使用flatMap ：

rdd.flatMap(new FlatMapFunction<ArrayList<Record>, Record>() {
  @Override
  public Iterable<Record> call(ArrayList<Record> records) {
    return records;
  }
});