如何在带有Spark 2.1的Java中使用lambda flatMap（）

Question

我将Python应用程序移植到Java，并停留在实现Lambda flatMap()的正确方法上。 我正在解析IP日志，需要在''（空格）上分割。

我的环境：

• 火花VRS 2.1
• IntelliJ
• Java 8
• 杰克1.92

我所拥有的是：

加载数据框：

Dataset<Row> MyLog = spark.sql("Select RecordNumber, IpAddress from Table);
MyLog.createOrReplaceTempView("MyLog");

现在尝试lambda flatmap（）

Dataset<String> Mylog2 = Mylog.flatMap(e -> String.asList(e.split(' ')));

我尝试了几种方法来包括：

Dataset<Row> Mylog2 = Mylog.flatMap(e -> Array.asList(e.split(' ')));
Dataset<String> Mylog2 = Mylog.flatMap(lambda(e -> String.asList(e.split(' '))));

等等

原始的python看起来像这样：

Mylog2 = Mylog.rdd.flatMap(lambda(x,y): ((x,v) for v in y.split(' ')))

我将对使用Spark在Java中实现此正确方法的任何见解表示赞赏

谢谢

Answer 1

关于什么：

Dataset<String> Mylog2 = Mylog.flatMap(row -> java.util.Arrays.stream(row.getString(1).split(' ')).iterator(), Encoders.STRING());

但是您要拆分哪一列？ 在IpAddress上？